大数据
qingwufeiyang_530
初涉社会,万事需要学习
展开
-
hadoop之MapReduce的shuffle的Combiner
Combiner合并 1)Combiner是MR程序中Mapper和Reducer之外的一种组件; 2)Combiner组件的父类就是Reducer; 3)Combiner和Reducer的区别在于运行的位置; Combiner是在每一个MapTsk所在的节点运行; Reducer是接受全局所有Mapper的输出结果; 4)Combiner的意义就是对每一个MapTask的输出进行局部汇总,以减小网络传输量。 5)Combiner能够应用的前提是不能影响最终的业务逻辑,而且,...原创 2020-09-21 13:28:12 · 98 阅读 · 0 评论 -
hadoop之MapReduce
mapTask 根据分片数确定 reduceTask 数量手动设置,根据分区,将数据分配到不同的任务。原创 2020-09-18 10:52:53 · 68 阅读 · 0 评论 -
canal读取binlog
服务端: 修改example中的配置 启动服务: bin目录下 ./startup.sh 客户端: 1、加入依赖: <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>1.8</maven.compiler.source> <maven.co.原创 2020-08-10 16:28:52 · 1134 阅读 · 1 评论