CentOS7安装hadoop2.7.3

最新推荐文章于 2022-07-20 16:35:41 发布

__immortal

最新推荐文章于 2022-07-20 16:35:41 发布

阅读量811

点赞数

分类专栏：配置文章标签： hadoop

本文链接：https://blog.csdn.net/CSDN_bay/article/details/71775105

版权

配置专栏收录该内容

1 篇文章 0 订阅

订阅专栏

安装准备工作

下载Hadoop以及jdk

安装hadoop前必须安装jdk 安装方法

http://blog.csdn.net/csdn_bay/article/details/70767421

安装完jdk后，把下载好的hadoop解压到/opt/hadoop目录下

修改hadoop配置文件，具体修改文件有5个

hadoop/etc/hadoop目录下

core-site.xml

hdfs-site.xml

mapred-site.xml

hadoop-env.sh

slaves

core-site.xml

<property>
<name>fs.defaultFS</name>
<value>hdfs://127.0.0.1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hadoop/tmp</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131702</value>
</property>

hdfs-site.xml

<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>

mapred-site.xml

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>127.0.0.1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>127.0.0.1:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>127.0.0.1:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>127.0.0.1:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>127.0.0.1:8088</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>768</value>
</property>