（大数据整合）Python、Kettle完整开发

​

对业务新增用户收集入库的行为，需要开发。

首先第一个，小问题。

  移除点击此处添加图片说明文字

​

  移除点击此处添加图片说明文字

​

  移除点击此处添加图片说明文字

​如所见，报错原因是多了一个；分号，导致了我们把方式换来换去，到后来我才看到，原来不能加引号啊，但是我把时间变量替换成时间常量却可以编译通过，这是个坑，陨石巨坑。

第二个问题，当我们跑任务时，定时的，但是兄弟部门数据没来，我们用开源HUE去检查hive库该表的数据时间，

  移除点击此处添加图片说明文字

​然后显示分区，

  移除点击此处添加图片说明文字

​就对比这两个分区时间数据吧。

  移除点击此处添加图片说明文字

​可以很清楚看到，

  移除点击此处添加图片说明文字

​18好的数据是19号早上10点47跑完的。接着去看看17号的。

  移除点击此处添加图片说明文字

​

17号数据就是18号晚上8点47跑完的，还记我们之前定的是下午两点15，所以这里会导致前台业务系统空数据，也会调度空数据的。

  移除点击此处添加图片说明文字

​

第三个问题，也是纠缠了一天的问题了。

为什么每次我sql没问题，日志没问题，

  移除点击此处添加图片说明文字

​

  移除点击此处添加图片说明文字

​

  移除点击此处添加图片说明文字

​

为什么会出现这种情况呢？但是库里却明明有数据的。

  移除点击此处添加图片说明文字

​比较棘手了。

都不好意思截图了，原来是变量别名没有取，导致了表不认识。

好吧，现在可以了，我们的分析都取得了成功，接下来，需要做前端数据库设计。因为是下载和销量双重设计，我们从前端数据库也整两张表吧，在接口代码里面改就可以了。

我靠时间来到了快下班的时间了，

要个增加表的权限，要了一圈，。。。要了3个小时。。。。

太影响效率了。。。呜呜呜

然后接着开发，我们表创建好了之后，

  移除点击此处添加图片说明文字

​

接下来的事情就坑了：他给我创建的用户，尼玛，

  移除点击此处添加图片说明文字

​居然不可以insert数据，我曹！

  移除点击此处添加图片说明文字

​

到这里还有一个坑。

数据现在18号的有两条，

  移除点击此处添加图片说明文字

​因为只是数据字典，所以没有设置id，只要保证数据不重复就行了，即使重复了，也可以sql找到重复记录。所以，如果我们id匹配维度没有配齐的话，比方说。

  移除点击此处添加图片说明文字

​

跑一边看一下，

  移除点击此处添加图片说明文字

​只有一条记录了，因为kettle不知道更新的维度。所以，写全了这里。

其实关于开发这个调度，由于是第一次这么从头开发到尾，整合，所以吧，也遇到了不少坑，那些小坑都倒腾倒腾也就过了，就不记了，遇到了那在记吧。

  移除点击此处添加图片说明文字

​接下来，我们要做初始数据。向下载表、销量表里插入初始数据，partition为当天把。

初始数据插入好了，需要些python脚本了，也就是最简单的脚本形式：

  移除点击此处添加图片说明文字

​

然后传到服务器上，改权限：

  移除点击此处添加图片说明文字

​再然后nohup，出现问题，没有东西出来，看一下目录。

  移除点击此处添加图片说明文字

​然后执行python XXXx.py

  移除点击此处添加图片说明文字

​原来是因为导包，导入类引用没找到，那这里因为不在一个目录下面，所以需要去网上现学。这到没啥问题，干这行就得习惯无时无刻都要遇到阻碍，我们网上查阅资料添加import即可

  移除点击此处添加图片说明文字

​到这里就启动了，等待邮件，要发不久的。等吧。

吧唧打脸了，

  移除点击此处添加图片说明文字

​又报错了，好尴尬啊，我们去kitchen里面测试吧。还好前两天写了这么多文档，现在解决问题起来，不用重新踏坑了，直接查文档，只可惜微博只让保存10篇，超过了就不行了，所以我把博客文档迁到了csdn，嘿嘿，没有限制了。其实自己搭建博客网站也是可以的，200，300一年吧，整个域名，搭建一个自己的博客网站。都很想搞一搞呀。扯远了，继续来吧，

pwd看一下目录

  移除点击此处添加图片说明文字

​然后

  移除点击此处添加图片说明文字

​是老问题了。还记得吗，是因为我们没有切换hive用户导致的，

su hive

  移除点击此处添加图片说明文字

​完美吗？好了，这篇就先到这里吧，关于springBoot怎么开发，以前的文章也都写过了，也比较简单。

我们回头把那个root启动的进程杀死

  移除点击此处添加图片说明文字

​

nohup python freemeos_newadd_customer.py >freemeos_newadd_customer_log.log 2>&1 &

  移除点击此处添加图片说明文字

​搞定了。

其实，打算把那个短信的mapreduce拿出来说一说的，但是似乎没时间了，二期需求来了。现在市场的需要重新做，还要搭建PHP运行环境去做一些开发。。。也一直有打算把以前的三个javaWeb开发项目拿出来说一说，说说框架、开发的，也打算把Kafka搭建一下，把思想说一说，拿出来分享的，慢慢来吧，技术的道路需要永无止境的探索。

​​

  移除点击此处添加图片说明文字

​