![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
qq_34795664
这个作者很懒,什么都没留下…
展开
-
wordcount
MapReduce 经过map阶段进行shuflle(洗牌),将获得的每个kv(key,value) 分发给reduce阶段,如果存在相同的key会给同一个ruduce task 任务去进行reduce.将相同的key 聚合在一个reduce task 任务中. shuffle必定会将相同的KV 分发给相同的reduce task wordCount案例的map阶段 /** ...原创 2018-04-15 09:11:41 · 434 阅读 · 0 评论 -
hadoop 2.7.5集群搭建
1、准备三台机器,每天机器关闭防火墙,设置hosts文件,配置免密登录 关闭防火墙 servie iptables stop chkconfig iptables off && setenforce 0 设置hosts 192.168.140.128 node01 zk01 kafka01 storm01 maven flume 192.168.140.1...原创 2018-04-16 00:32:38 · 283 阅读 · 0 评论 -
MapReduce优化参数
MapReduce 优化参数 1 . 资源相关参数 以下参数是在用户自己的 MapReduce 应用程序中配置就可以生效 (1) mapreduce.map.memory.mb: 一个 Map Task 可使用的内存上限(单位:MB),默认为 1024。如果 Map Task 实际使用的资源量超过该值,则会被强制杀死。 (2) mapreduce.reduce.memory.mb: 一个 R...原创 2018-04-19 22:07:50 · 181 阅读 · 0 评论