![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
wtysuper6
bug maker的日常,写bug,改bug,发bug。
展开
-
hadoop工作原理链接
由于网友对工作原理的总结很优秀,有些写的比我掌握的还要多,很惭愧,对于工作原理,下面链接几条写的不错的博文,收藏作为后续回顾使用。 hdfs工作原理: https://blog.csdn.net/liuguangrong/article/details/52906933 yarn工作原理: https://www.cnblogs.com/codeOfLife/p/5492740.html ...原创 2019-08-29 15:15:52 · 283 阅读 · 0 评论 -
一日一坑之:centos7.x VS hadoop3.x
由于从事其他方向,很久没有玩过hadoop,今天心血来潮想安装hadoop试试手,看了下centos居然出了7.x版本,之前一直用的是6.4版本的,特下载下来安装一下。查看下hadoop版本,已经出了3.x版本,下载尝尝鲜。从此刻开始,坑来啦。 坑1:如果安装mini模式的centos你会发现没有ifconfig 对没错,就是没有,/sbin下也没有 解决办法: yum instal...原创 2019-08-29 16:05:06 · 152 阅读 · 0 评论 -
hadoop mapreduce几种处理方式
mapreduce在应用过程中可以通过灵活定制各部分代码用以解决复杂逻辑,本文简单介绍各部分定制代码的流程,代码由于过多就不进行书写。 1、多map多reduce 在某些业务场景中,如找出公共好友的过程中,一组map-reduce任务没办法一次处理得到结果,因此应用两次map-reduce进行处理。找出共同好友 A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I ........原创 2019-08-30 17:40:50 · 497 阅读 · 0 评论