![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
旧书包的青春
这个作者很懒,什么都没留下…
展开
-
Hadoop性能测试
向HDFS集群写10个128M文件hadoop jar /opt/module/hadoop-2-7-2/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB测试读hadoop jar /opt/module/...原创 2019-12-29 19:52:56 · 198 阅读 · 0 评论 -
Hadoop知识筆記
1.集群规模每天日活100万,每人一天平均100条数据,每条日志1kb左右,半年内不扩容,保存3副本,预留20%-30%buffer,数仓分层2.框架版本选型apache大公司,运维麻烦,组件间兼容性需要自己调研CDH 用的多,中小公司用得多HDP开源3.服务器选型 1)物理机 2)云主机4.什么是shuffMap Reduce5.分区排序左侧写数据,右侧写索...原创 2019-12-24 22:50:16 · 67 阅读 · 0 评论