![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 82
miaote
这个作者很懒,什么都没留下…
展开
-
初识Hadoop及其名词解释---Hadoop学习(1)
今天开始学习hadoop的基本机制和基础知识,之前也迷迷糊糊在Ubuntu上配置过hadoop但是根本不懂很多配置参数和操作的原因,所以此次学习旨在真正地认识hadoop以及会它的一些用法。至少要知道我们用的所谓分布式计算工具,到底是什么,又由什么组成?用的书是《Hadoop基本教程》,感觉作者写的详细又不难懂。 1.元素组成 (1).HDFS(Hadoop Dist原创 2016-11-04 01:10:53 · 5636 阅读 · 0 评论 -
浅解MapReduce与简单MapReduce程序出包---Hadoop学习笔记(2)
浅略理解MapReduce的概念机制是开始真正使用Hadoop开发Mapreduce程序的第一步,是一个充分条件。理解和实践并进才能让更多的问题暴露对理论的理解的不够。继续学习《Hadoop基础教程》。 1.Map与Reduce Hadoop将数据分成不小于64MB的块,因此每个数据块都有一个对应的键,而数据块就作为值,由此形成键值对,就是所说的Map,映射。Reduce将M原创 2016-11-06 12:08:17 · 433 阅读 · 0 评论 -
Hadoop完全分布式部署---Hadoop学习笔记(3)
偶然看到家里的台式机闲置没用,于是索性想到了部署一次完全分布式的Hadoop试试看。本来伪分布式模式部署好了就用到现在,苦于装备条件不够,没办法实现真正的分布式运算。现在终于有时间又有机器,可以部署(折腾)一番。 我用的hadoop和spark是: 1. Hadoop-2.6.0 2. spark-1.6.0-hadoop2.6.0 将hadoop部署完毕之后再部署spark原创 2017-01-22 21:41:16 · 481 阅读 · 0 评论