![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HADOOP
qbyjxg001
这个作者很懒,什么都没留下…
展开
-
Hadoop--两个简单的MapReduce程序
这周在学习Hadoop编程,以前看过《Hadoop权威指南》这本书,但是看完了HDFS这一章之后,后面的内容就难以再看懂了,说实话,之前一直对MapReduce程序敬而远之,毫不理解这种类型的程序的执行过程。这一周花了些时间看了Hadoop的实战,现在能够看懂简单的MapReduce程序,也能自己动手写几个简单的例子程序。 相关阅读: Hadoop权威指南(中文版-带目录索引)PDF htt转载 2014-11-02 15:45:24 · 449 阅读 · 0 评论 -
配置Hadoop分布模式并运行Wordcount示例
在VMWare中构建第二、三台运行Ubuntu的机器和构建第一台机器完全一样,再次不在赘述。。 与安装第一台Ubuntu机器不同的几点是: 第一点:我们把第二、三台Ubuntu机器命名为了Slave1、Slave2,如下图所示: 创建完的VMware中就有三台虚拟机了: 第二点:为了简化Hadoop的配置,保持最小化的Hadoop集群,在构建第二、三台机器的时候使用转载 2014-11-23 10:34:10 · 724 阅读 · 1 评论 -
配置Hadoop伪分布模式并运行Wordcount示例
伪分布模式主要涉及一下的配置信息: 修改Hadoop的核心配置文件core-site.xml,主要是配置HDFS的地址和端口号; 修改Hadoop中HDFS的配置文件hdfs-site.xml,主要是配置replication; 修改Hadoop的MapReduce的配置文件mapred-site.xml,主要是配置JobTracker的地址和端口; 在转载 2014-11-23 10:30:51 · 1488 阅读 · 1 评论 -
配置Hadoop单机模式并运行Wordcount
安装ssh Hadoop是采用ssh进行通信的,此时我们要设置密码为空,即不需要密码登陆,这样免去每次通信时都输入秘密,安装如下: 输入“Y”进行安装并等待自动安装完成。 安装ssh完成后启动服务 以下命令验证服务是否正常启动: 可以看到ssh正常启动; 设置免密码登录,生成私钥和公钥: 在/root/.转载 2014-11-23 10:19:28 · 2858 阅读 · 2 评论