- 博客(4)
- 收藏
- 关注
原创 Hadoop学习(四)— MapReduce入门
MapReduce是由Google提出的一种分布式计算模型,主要用于搜索领域,解决海量数据的计算问题。它实现了把简单的运算逻辑扩展到海量数据的场景中,进行分布式运行,对于普通程序员来说只需要编写业务逻辑来实现海量数据的处理,而不需要过多的去关注分布式实现细节。mapreduce分为map阶段与reduce阶段,开发者只需要实现map()和reduce()两个函数,即可实现分布式计算。
2016-05-09 20:32:39
585
原创 Hadoop学习(三)— hdfs : NameNode与DataNode的实现机制
一、NameNode的工作机制二、DataNode的工作机制三、HDFS在Java客户端编写
2016-04-25 20:49:16
3712
原创 Hadoop学习(二) — Hadoop2.4伪分布式的安装与测试
一、Linux环境装备1.安装jdk1.7以上版本2.修改主机名[hadoop123@tracker-wjw ~]$ vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=tracker-wjw3.修改主机名和IP的映射关系,注意hadoop的安装中主机名不要有"_"[hadoop123@tracker-wjw ~]$ vi /et
2016-04-10 14:13:01
536
原创 Hadoop学习(一) — 初识Hadoop
一、Hadoop是什么从狭义上讲:。。。 从广义上讲:。。。 说白了 The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing. Hadoop是做可靠的、可扩展的、分布式计算,说白了就是处理海量数据问题的解决方案。二、Hadoop要解决
2016-04-07 21:05:56
637
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人