2017年06月_大壮vip

12月 11月 10月 09月 08月 07月 06月

原创数据仓库Hive表

数据仓库Hive表，并且导入数据，整理文档接下来跑服务器环境，环境和本地有所区别了。首先我们拿到几个目录，可以开干了。源数据目录，hdfs放置目录，集群地址即可。tar zxvf SafeData-2017-06-26.har.tar.gz -C /data/data/

2017-06-28 18:09:56 832

原创 (大数据)MapReduce开发，一个没有隐私的世界！

安全数据重新解析MR开发，接到MR开发任务。也会做一些互移除点击此处添加图片说明文字拿到新需求，小路乱撞。首先拿到数据示例文档：移除点击此处添加图片说明文字然后从svn上检出代码，工程如下：移除点击此处添加图片说明文字需求，我们要将头文件添加到每个ac列表中。移除点击此处添加图片说明文字移除点击此处添加图片说明文字

2017-06-27 11:45:57 1268

原创 MapReduce做词频率统计

WordCount堪称大数据界的HelloWorld 移除点击此处添加图片说明文字今天来学习搭建hadoop开发环境。并且制作一个本地测试版本的WordCount，稍后我们将会来开发实际项目，在此之前，我们需要了解mapreduce所能做的事情。先介绍一下业务需求假如我们有这样一个文件：hadoop hello worldhello hadoophbase

2017-06-27 11:40:41 1496

原创 MapReduce工作原理

mapreduce准备要来写MapReduce程序。移除点击此处添加图片说明文字那说道大数据核心处理框架hadoop，那可能MR是必须要去突破的，早在去年有幸通过书籍、网络学习了一下mr的基本理论和做了一个wordCount的demo，可是这样距离企业应用、大数据平台使用还相差甚远。这周我们接到任务，掌握了一套PHP+Java+MongoDB+Mysq

2017-06-24 14:28:34 790

原创 PHP开发增删改查

今天要做一个增删改查，以应对后期二期需求今天做开发，今天也是搞PHP第二天了，应该可以上手开发了。通过f12，很快能检索到渠道管理的id，然后新增注意一下，这里id别重复了。然后刷新页面，

2017-06-23 16:10:09 6203

原创 PHP业务了解与开发笔记

记录php业务与开发最基本的demo。移除点击此处添加图片说明文字接下来要完成一篇demo业务与开发业务的demo，深入学习之后的使用。有时候，我们说，一旦文档建立，那就属于自己了，再也不会忘记了，即使后期忘记了，回头来看看，又都懂了。再者我们说一下，我所做的工作，有95%是没有前辈教的，没有前辈指点的，那么遇到问题，自己先想办法搞定，简单的就自己搞定，实在不

2017-06-22 19:28:17 1014

原创搭建PHP的web项目

公司web前端使用的php，所以呢，我们要搭建php开发，现在我的机器也是什么也没有，从0搭建。移除点击此处添加图片说明文字后来同事赶紧把我勒住，让我搭建这么个东西，xammp百度搜一下就可以了。移除点击此处添加图片说明文字这个直接已经集成了tomcat、apache、mysql等，这里我们要稍等会儿，不可急躁让我们集成东西.走到这里，环境

2017-06-22 19:26:33 1352

原创 PHP深入学习

从0开始学php，并且深入移除点击此处添加图片说明文字攻城拔寨，从helloworld开始， hello.php PHP 测试 Hello World'; ?> 移除点击此处添加图片说明文字成功，然后查阅了书本、网站，对php一些核心知识点做了收集，以帮助理解。首先来基本理解PHP，1、PHP不用

2017-06-22 19:23:42 1406

原创（大数据整合）Python、Kettle完整开发

对业务新增用户收集入库的行为，需要开发。首先第一个，小问题。移除点击此处添加图片说明文字移除点击此处添加图片说明文字移除点击此处添加图片说明文字如所见，报错原因是多了一个；分号，导致了我们把方式换来换去，到后来我才看到，原来不能加引号啊，但是我把时间变量替换成时间常量却可以编译通过，这是个坑，陨石巨坑。第二个问题，当我们跑任务时

2017-06-20 12:54:51 11128 5

原创 Hadoop搭建并执行MapReduce

来点干货吧。后面可能工作比较多了，技术选型和架构工作要多一点了。移除点击此处添加图片说明文字今天周六，很快，公司的BI要自己部门做了，新架构师希望我们原来的框架有较大改动，后期我需要帮助他很多工作，他的宗旨就是，能偷懒的就不要人为做，一切都尽量实现可配置化，目标是90%，是的，你没听错。开发也要实现配置，而且后期要做推荐系统和用户画像。我们快速记录一片

2017-06-17 14:56:25 630

原创 nohup后台运行Python调度脚本（最终发布）

遇到的一些坑要说一下移除点击此处添加图片说明文字遇到的坑来说一下。首先解决了问题，加上手头上新的工作接到手要做，再加上，新的老大来了，开了一上午的会。首先介绍nohup的作用，例子：nohup abc.sh > nohup.log 2>&1 & 脚本位置，然后重定向的日志文件，如果不声明就会去所有的日志文件里追加日志。然后2>&1也要注意，最后请一

2017-06-16 13:39:46 5557 1

原创 Python开发数据清洗

这篇任然是准备工作，准备什么呢？准备python脚本了。移除点击此处添加图片说明文字在这里，我们要做的事情是，理清思路，想好，要怎么设计，之前已经整好了本机测试的测试job，其实那也不是测试job，只是指向本地mysql的job，后期整合要改一下库名。接下来呢，我们需要整一个测试python来跑这个同步job，如果没问题的话，我们试着写两个run方法，然后没问题就

2017-06-16 13:36:28 3626 1

原创 Python开发Kettle做大数据ETL（前期准备）

Python开发Kettle做大数据ETL，这回事要上线的了。前期准备kettle任务，本地阶段。老规矩，交代一下业务场景，因为所有的框架和技术组件都一定要基于需求，解决实际问题，否则那就是闭门造车，没有丝毫意义。应用场景介绍。这回，我们记录下来了，从整体架构上来说，我们出现了一种同步情况，当前台页面访问页面时，出现了数据集合为空：移除点击此

2017-06-13 19:10:36 21421

原创大数据Kettle数据清洗与定时任务开发

今天整点大数据应用的开发。做一个定时校验的JobKettle自行百度，做ETL的。下面就开始吧。首先kettle，开发系统时间的转换，这步很关键的，兄弟：具体代码也贴出来，这个是设置环境变量，接下来，看分割时间的js代码段

2017-06-13 19:04:59 12843 12

原创集成springboot-starter-security

集成security首先第一步，搭建最基本的boot，我们来看一下效果。移除点击此处添加图片说明文字报错，粘出来：移除点击此处添加图片说明文字原来是没有返回的页面导致，我们把没用的类和页面删掉。这是个小插曲哈，见谅。对了，仔细了解了一下，项目暂时还不需要用到druid，不那么着急搭建druid框架，先把security集成进

2017-06-13 19:03:11 7571

原创 Springboot开发（spring+mybatis+druid）

进阶，框架整合druid之前已经介绍了新手如何搭建一个简单的springboot，接下来介绍一下springboot+mybatis+druid的配置方法。鄙人不才，参考了一些高手的博文以及官方文档，整理出了一点心得。Druid是阿里巴巴开源平台上的一个项目，整个项目由数据库连接池、插件框架和SQL解析器组成。该项目主要是为了扩

2017-06-13 19:01:21 483

原创 springboot开发（yml配置和注解解析）

so easy！第一个版本开发完了。需要进阶组件集成了。微服务的概念及时组件即服务，服务即接口，接口也是服务。组件调用使用restful，编码风格其实也是restful风格，接下来，我们项目开发工作还需要进入白热化，例如yml配置引入端口，druid，eruaka等组件，一步步来。首先看下yum配置特性吧：移除点击此处添加图片说明文字请注意，这样

2017-06-13 18:57:33 80282 10

原创 Spring boot快速开发

弄了一晚上终于找到了发技术文档的方法了，之前没有弄懂，写的文字和截图弄丢了。儿童节补大家好，我是上海卓易大数据开发工程师，欢迎阅读本期博客。端午刚上来，任务不是很重，今天下午有幸更改接口架构，原来是使用开源的talend stdio（本人才是用3周左右，就发现问题太多，可能自己愚笨吧，毕竟都说这个是开发大数据企业级最智能的工具了）开发restful接口，首先

2017-06-13 18:52:33 667

原创 idea集成svn

idea集成svn今天任务比较重，要研究很多东西，先来看看idea如何集成svn，做版本控制比较重要的一件事情，团队开发，得有git或者svn控制版本，之前一次发布，然后没有控制版本，出了问题，结果代码都被我改了，完蛋。。。以前绝对不会犯这个错的。那现在，赶紧补救。1.ctrl+alt+s 移除点击此处添加图片说明文字2.先配

2017-06-13 18:47:55 2447

原创关于Springboot调错篇

遇到两次了，第一次很快解决了，花了15分钟；第二次花了半个多小时！遇到两次了，第一次很快解决了，花了15分钟；第二次花了半个多小时！所以，具体描述一下，以备记录，后期不要再被卡半个小时了。首先看看效果。控制台不停在告警，随便粘贴几条看看：

2017-06-13 18:42:48 48436 10

原创为什么要使用微服务

不用talend stdio 而是使用微服务的原因为什么要换：1.原来的工具叫talend stdio，网上使用人数很少，出了一些问题都没有解决，还是走的偏门。2.不能敏捷开发，svn无法集成，版本控制不了。3.代码无法分层，26000行代码挤在一个类中。4.超过20个接口报错65535ErrorByte，纵向拓展集成性能差（集成性

2017-06-13 18:19:32 823

原创 SpringBoot如何正确发布

首先说说发布的前提。移除点击此处添加图片说明文字发布先将pom格式编译一遍，没有问题的话，照着图中电击顺序，依次进入maven，package一下，就可以了。那么，因为是jar包（spring boot自己集成了tomcat，jar启动就可以了，如果需要war自己部署去tomcat或者weblogic也可以）jar如下步骤，设置路径和格式即可打包了。移除点击此处添

2017-06-13 18:12:44 10530