![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
hadoop
hadoop相关知识
哥们你裤衩掉了
想成为一个DIY的野生架构师。
展开
-
学习hadoop需要具备基础知识
首先整体上了解Hadoop,包括hadoop是什么,能够做什么,使用场景等,不需要考虑细节问题。在有了整体上的了解后,就开始准备系统地学习hadoop。建议:勿一味学习理论知识,要注意理论与实践相结合。在实际操作中查缺补漏,提高针对性、目的性。总的来说,学习hadoop需要具备:linux 1、熟练操作linux常用命令以及网络配置; 2、熟悉用户以及权限管理操作; 3、熟转载 2016-08-25 18:25:09 · 5113 阅读 · 1 评论 -
形象的描述大数据的技术生态以及Hadoop、Hive、Spark 之间关系
作者:Xiaoyu Ma 链接:https://www.zhihu.com/question/27974418/answer/38965760 来源:知乎 著作权归作者所有,若感谢请转步知乎感谢作者并点赞,感谢。 并真诚的感谢作者Xiaoyu Ma的分享。谢谢。大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨转载 2017-01-13 17:03:13 · 427 阅读 · 0 评论 -
MapReduce原理
MapReduce模型主要包含Mapper类和Reducer类两个抽象类。Mapper类主要负责对数据的分析处理,最终转化为key-value数据对;Reducer类主要获取key-value数据对,然后处理统计,得到结果。MapReduce 框架的核心步骤主要分两部分:Map 和Reduce。当你向MapReduce 框架提交一个计算作业时,它会首先把计算作业拆分成若干个Map 任务,然后分配到不原创 2017-03-16 10:49:16 · 399 阅读 · 0 评论