hadoop单机模式和伪分布式模式安装过程

最新推荐文章于 2021-03-04 23:39:29 发布

win32asn

最新推荐文章于 2021-03-04 23:39:29 发布

阅读量824

点赞数

分类专栏：技术文章标签： hadoop output input jdk jar ssh

本文链接：https://blog.csdn.net/win32asn/article/details/6582161

版权

技术专栏收录该内容

31 篇文章 0 订阅

订阅专栏

系统版本：Linux centos-5.5 内核2.6.18-92.el5
hadoop版本：hadoop-0.20.2
jdk版本：jdk1.6.0_25
#tar xzvf hadoop-0.20.2.tar.gz
#cd hadoop-0.20.2
#vi conf/hadoop-env.sh
加入 export JAVA_HOME=/root/jdk1.6.0_25
1、单机模式的操作方法
# mkdir input
# cp conf/*.xml input
# bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'
# cat output/*

2、伪分布式模式的操作方法
1）配置conf/core-site.xml：

<configuration>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
</property>
</configuration>

2）配置conf/hdfs-site.xml：

<name>dfs.replication</name>

</property>

</configuration>

3）配置conf/mapred-site.xml：

<configuration>
       <property>
            <name>mapred.job.tracker</name>
            <value>localhost:9001</value>
       </property>
</configuration>

4）确认能否不输入口令就用ssh登录localhost:
#ssh localhost
如果不输入口令就无法用ssh登陆localhost，执行下面的命令：
#ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
#cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

5）格式化一个新的分布式文件系统：
#bin/hadoop namenode -format

6）启动Hadoop守护进程：
#bin/start-all.sh

7）将输入文件拷贝到分布式文件系统：
#bin/hadoop fs -put conf input

8）运行发行版提供的示例程序：
#bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'

9）查看输出文件：
将输出文件从分布式文件系统拷贝到本地文件系统查看：
#bin/hadoop fs -get output output
#cat output/*

或者

在分布式文件系统上查看输出文件：
#bin/hadoop fs -cat output/*

10）完成全部操作后，停止守护进程：
#bin/stop-all.sh