hadoop - 配置完全分布式模式并运行WordCount程序

最新推荐文章于 2022-03-30 22:42:01 发布

置顶

attention！

最新推荐文章于 2022-03-30 22:42:01 发布

阅读量1.1k

点赞数

分类专栏：搭建环境大数据 Hadoop 文章标签：大数据 Hadoop 云计算 Linux Java

本文链接：https://blog.csdn.net/w7239/article/details/101519161

版权

本文详细介绍了如何配置Hadoop的完全分布式模式，包括Hadoop三种模式的切换、伪分布式配置、SSH设置，以及运行WordCount入门程序的步骤。通过修改配置文件、生成SSH密钥对、格式化名称节点、启动Hadoop服务，并最终运行WordCount程序验证集群配置。

摘要由CSDN通过智能技术生成

1. Hadoop三种模式便捷切换以及让命令行提示符显式完整路径

（1）Hadoop三种模式便捷切换
首先执行如下命令：

  [yylin@big etc]$ cp -r hadoop local
  [yylin@big etc]$ cp -r hadoop pseudo
  [yylin@big etc]$ cp -r hadoop full
  [yylin@big etc]$ rm -rf hadoop
  [yylin@big etc]$ ln -s pseudo hadoop

上面几条命令的结果是，将原有的hadoop文件夹复制三份，分别命名为local、pseudo和full，代表本地模式、伪分布式模式以及完全分布式模式，然后删除原有的hadoop文件夹，再创建hadoop符号链接指向pseudo文件夹。
这样做的好处是，如果想在这三种模式中切换的话，只需要修改hadoop符号链接指向不同的文件夹就好了。

（2）让命令行提示符显式完整路径
（a）编辑/etc目录下的profile文件，添加环境变量PS1

  export PS1='[\u@\h `pwd`]\$'

（b）生效，执行命令

  source /etc/profile

2. 配置Hadoop伪分布式模式

（1）进入${HADOOP_HOME}/etc/hadoop目录，在该目录下有好多文件，主要需要配置的是四个文件，分别是core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml。

从图中看到，没有mapred-site.xml，有个mapred-site.xml.template，复制并重命名为mapred-site.xml即可。
（2）编辑core-site.xml：

  <?xml version="1.0"?>
  <configuration>
    <property>
      <name>fs.defaultFS</name>
      <value>hdfs://s135/</value>
    </property>
  </configuration>

（3）编辑hdfs-site.xml，可以看到副本数为3：

  <?xml version="1.0"?>
  <configuration>
    <property>
      <name>dfs.replication</name>
      <value>3</value>
    </property>
    <property>
      <!-- 配置hadoop.tmp.dir目录 -->
      <name>hadoop.tmp.dir</name>
      <value>/home/yylin/hadoop</value>
    </property>
  </configuration>

（4）编辑mapred-site.xml：
注意:cp mapred-site.xml.template mapred-site.xml

  <?xml version="1.0"?>
   <configuration>
      <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
    </property>
    <property>
      <name>yarn.app.mapreduce.am.env</name>
      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
      <name>mapreduce.map.env</name>
      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
      <name>mapreduce.reduce.env</name>
      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}