Hadoop伪分布式搭建（小白推荐，超详细）

最新推荐文章于 2024-07-28 20:13:01 发布

Enjoy_zm

最新推荐文章于 2024-07-28 20:13:01 发布

阅读量895

点赞数

文章标签： hadoop 大数据

本文链接：https://blog.csdn.net/enjoy_zm/article/details/116999220

版权

本文详述了Hadoop伪分布式环境的搭建步骤，包括修改core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个配置文件，设置JAVA_HOME，格式化namenode，以及启动hdfs和yarn进程。通过jps检查进程确保成功，并在浏览器中验证50070端口的web界面。

摘要由CSDN通过智能技术生成

一、修改配置文件：core-site.xml，hdfs-site.xml，yarn.site.xml，mapred-site.xml

四个文件地址全部在/opt/hadoop/etc/hadoop下

1.core-site.xml

<!--指定HDFS中NameNode的地址-->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop1:9000</value>   
</property>

<!--指定Hadoop运行时产生文件的存储目录-->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/temp/data</value>
</property>

2.hdfs-site.xml

<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

3.yarn-site.xml

<!--reducer获取数据的方式-->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<!--指定yarn的Resourcemanager的地址-->
<pr