JJBOOM425的博客

在前几篇博客我已将绘制WorkFlow的工作事件都已经设计好了。这里总结一下如何将这些事件一起组成一个WorkFlow工作流，并且会讲一些绘制工作流的注意事项。 首先要注意我们添加的任何一个中间的事件这里有两种情况，分别是 DOCUMENTS 与 ACTIONS ： DOCUMENTS ： ACTIONS ： 也很好理解，DOCUMENTS中添加的事件都是之前我们在Oozie中已经...

这篇博客主要汇总了我在具体项目中一些处理步骤。这里

今天在HUE中的Oozie执行Sqoop，因为数据都要现在这里汇总与处理。这里给一个样例： sqoop import --connect "jdbc:mysql://192.168.102.18:3306/school?useUnicode=true&characterEncoding=utf-8" --username root --password P@ssw0rd4321 --...

这里对使用sqoop将Oracle中的数据按照日期、小时批量导入数据报错与解决做一个总结。 之前mysql导入数据过，那时候对于 --query 后的sql语句因为涉及到日期与时间，如果是单引号的话则会跟外面的单引号冲突，导致错误，所以mysql中解决办法就是里面涉及日期与时间的字段改成双引号即可。然后再弄Oracle时候，我也试着改成双引号，并且因为sqoop导入时候用到了where判断，...

常用命令列举 import 将数据导入到集群 export 将集群数据导出 codegen 获取数据库中某张表数据生成 Java 并打包Jar create-hive-table 创建 Hive 表 eval ...

今天遇到一个需求，这里简单介绍一下。原先把很多的信息都汇总到一个trace的表中，其中包括人脸识别后的对比数据、某学校卡口的进入车辆数据、访客记录、门禁刷卡记录与一卡通消费记录等，然后在HUE中新建一个WorkFlow，每天的凌晨进行增量导入与数据处理。后面甲方那边感觉汇总的很好，结果要求按照小时更新。这个对于之前结构变化就有点大了，原先sqoop都是overwrite数据表，然后在hive里面处...