![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
颍天
路漫漫其修远兮吾将上下而求索
展开
-
【Hadoop】(二)mapreduce的知识点总结
文章目录MapReduce历史背景什么是MapReduce什么是MapReduce分布式计算MapReduce特点Map端流程1)Split分片2)键值对3)Combiner4)Partitioner5)Spill:sort&combiner6)MergeReduce端流程1)Copy2)Mergejob任务的执行流程MapReduce的shuffle调优MapReduce历史背景Hadoop MapReduce诞生于搜索领域,主要解决搜索引擎面临的海量数据处理扩展性差的问题。它的程序本质上是原创 2020-11-20 14:17:50 · 412 阅读 · 0 评论 -
【Hadoop】(二)hdfs的知识点总结
文章目录前言一、hdfs的优点二、hdfs的缺点三、hdfs的组成架构1)NameNode(nn)2)DataNode(nn)3)Client4)Secondary NameNode四、hdfs的block、packet、chunk1)block五、hdfs的block的大小为什么设置为128M六、hdfs的读流程七、hdfs的写流程八、Secondary NameNode前言Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它原创 2020-11-10 23:05:34 · 453 阅读 · 0 评论 -
【Hadoop】(一)初识Hadoop
文章目录一、大数据是什么二、大数据的特点三、数据存储单位四、Hadoop是什么五、Hadoop的特点六、Hadoop的1.x和2.x的区别一、大数据是什么大数据(big data):是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。二、大数据的特点Volume(大量)Velocity(高速)Variety(多样)Value(低价值密度)Veracity(真实性)三、数据原创 2020-11-08 17:35:00 · 109 阅读 · 0 评论