hadoop实战之伪分布式模式

最新推荐文章于 2022-08-16 14:57:08 发布

kongxx

最新推荐文章于 2022-08-16 14:57:08 发布

阅读量2.7k

点赞数

分类专栏： Linux Hadoop Java 文章标签： hadoop 测试 input output linux java

本文链接：https://blog.csdn.net/kongxx/article/details/6891761

版权

172 篇文章 1 订阅

订阅专栏

164 篇文章 1 订阅

订阅专栏

9 篇文章 0 订阅

订阅专栏

Hadoop可以在单节点上以所谓的伪分布式模式运行，此时每一个Hadoop守护进程都作为一个独立的Java进程运行，这种运行方式的配置和操作如下：

关于hadoop的安装和测试可以参考hadoop学习之安装与单机模式

这里仍假定${HADOOP_HOME}为位置是/data/fkong/hadoop-0.20.203.0

1. 修改hadoop配置

1.1 编辑${HADOOP_HOME}/conf/core-site.xml文件，内容修改如下：

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

1.2 编辑${HADOOP_HOME}/conf/hdfs-site.xml文件，内如修改如下：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

1.3 编辑${HADOOP_HOME}/conf/mapred-site.xml文件，内如修改如下：

<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
</configuration>

2. 设置linux上ssh是用户可以自动登录

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

3. 格式化一个新的分布式文件系统:

$ bin/hadoop namenode -format

4. 执行hadoop

4.1 启动hadoop后台daemon

$ bin/start-all.sh

启动后可以通过以下w网页方式查看NameNode和JobTracker状态

NameNode - http://localhost:50070/
JobTracker - http://localhost:50030/

4.2 复制文件到分布式文件系统上

$ bin/hadoop fs -put conf input

4.3 运行测试

$ bin/hadoop jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+'

4.4 获取测试程序的执行结果

$ bin/hadoop fs -cat output/*

4.5 停止hadoop后台daemon

$ bin/stop-all.sh

关注