- 博客(2)
- 资源 (3)
- 收藏
- 关注
原创 Sqoop 将db2数据导入到hive中出现数据条数不一致问题分析
import--connectjdbc:db2://host:port/database //db2驱动--usernamexxx //用户名--passwordxxx //密码--tabledb2table //db2中的表名字--split-byid //分块建议使用主键column字段名称作为分割块的依据,这样减少导入误差--m16 //1-更大 速度主要...
2018-05-17 16:39:36 1455
翻译 Hadoop-MapReduce粗略理解(一)
本文不做任何商业用途,仅仅用于知识分享。如有侵权行为,请联系我谢谢。通过阅读书籍查阅相关资料总结得出本人片面理解:map 相当于数据准备阶段,主要负责从HDFS中读取分块,因为每个分块的大小近乎相等,所以通过集群调度任务将数据采集到map中。实现读取效率最大化reduce。处理各个节点上map的值(利用网络传输)传输到reduce节点。由reduce 完成 聚合,排序等一系列处理。最终写入hdfs...
2018-05-15 10:04:28 167
bootstrap4支持修改table插件
2018-12-20
hadoop2.7.6编译工具附 源码
2018-07-16
mybatis,spring,db2 整合工程
2017-12-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人