![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Sqoop
文章平均质量分 96
青山孤客
网易高级服务端开发工程师,软件设计师,信息系统项目管理师,杭州市E类人才。杭州电子科技大学工学硕士,曾访学圣彼得堡国立信息技术机械与光学大学(ITMO),在国际计算机软件和应用会议(COMPSAC)发表1篇学术论文,目前已申请国家发明专利4项,2项软件著作权。兴趣是数据开发、后端开发、信息系统项目管理等。
展开
-
在HUE中绘制WorkFlow并配置schedule定期执行工作流
在前几篇博客我已将绘制WorkFlow的工作事件都已经设计好了。这里总结一下如何将这些事件一起组成一个WorkFlow工作流,并且会讲一些绘制工作流的注意事项。首先要注意我们添加的任何一个中间的事件这里有两种情况,分别是 DOCUMENTS 与 ACTIONS :DOCUMENTS :ACTIONS :也很好理解,DOCUMENTS中添加的事件都是之前我们在Oozie中已经...原创 2020-04-21 13:55:03 · 2298 阅读 · 5 评论 -
对HUE中的各种hive表的增量数据进行汇总,再将此hive表使用sqoop增量导出数据到mysql中
这篇博客主要汇总了我在具体项目中一些处理步骤。这里原创 2020-04-21 00:06:07 · 898 阅读 · 0 评论 -
使用hue中的sqoop导入数据被killed
今天在HUE中的Oozie执行Sqoop,因为数据都要现在这里汇总与处理。这里给一个样例:sqoop import --connect "jdbc:mysql://192.168.102.18:3306/school?useUnicode=true&characterEncoding=utf-8" --username root --password P@ssw0rd4321 --...原创 2020-04-20 10:27:58 · 1011 阅读 · 0 评论 -
使用sqoop将Oracle中数据按照日期、小时批量导入报错与解决
这里对使用sqoop将Oracle中的数据按照日期、小时批量导入数据报错与解决做一个总结。之前mysql导入数据过,那时候对于 --query 后的sql语句因为涉及到日期与时间,如果是单引号的话则会跟外面的单引号冲突,导致错误,所以mysql中解决办法就是里面涉及日期与时间的字段改成双引号即可。然后再弄Oracle时候,我也试着改成双引号,并且因为sqoop导入时候用到了where判断,...原创 2020-04-17 11:05:24 · 1026 阅读 · 0 评论 -
Sqoop常用命令及参数介绍
常用命令列举 import 将数据导入到集群 export 将集群数据导出 codegen 获取数据库中某张表数据生成 Java 并打包Jar create-hive-table 创建 Hive 表 eval ...转载 2020-04-16 16:31:19 · 420 阅读 · 0 评论 -
使用sqoop将mysql与Oracle中的数据按照日期与时间段分区存入hdfs中
今天遇到一个需求,这里简单介绍一下。原先把很多的信息都汇总到一个trace的表中,其中包括人脸识别后的对比数据、某学校卡口的进入车辆数据、访客记录、门禁刷卡记录与一卡通消费记录等,然后在HUE中新建一个WorkFlow,每天的凌晨进行增量导入与数据处理。后面甲方那边感觉汇总的很好,结果要求按照小时更新。这个对于之前结构变化就有点大了,原先sqoop都是overwrite数据表,然后在hive里面处...原创 2020-04-15 16:36:38 · 1014 阅读 · 0 评论