大数据系统搭建（三）Hadoop集群搭建

Hadoop集群搭建

1.安装Hadoop软件包

创建Hadoop工作目录

mkdir -p /usr/hadoop
tar -zxvf hadoop-2.7.3.tar.gz -C /usr/hadoop/

2.配置Hadoop运行环境

1.修改/etc/profile文件

vi /etc/profile

#在底部添加以下内容：
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

2.生效配置文件

source /etc/profile

3.修改hadoop-env.sh文件

#进入Hadoop的/etc/hadoop目录
cd /usr/hadoop/hadoop-2.7.3/etc/hadoop/

vi hadoop-env.sh

#将JAVA_HOME的路径改为以下内容：
export JAVA_HOME=/usr/java/jdk1.8.0_171

3.配置全局参数

编辑core-site.xml文件

vi core-site.xml

#添加以下内容：
<configuration>
<property>
  <name>fs.default.name</name>
   <value>hdfs://master:9000</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
   <value>/usr/hadoop/hadoop-2.7.3/hdfs/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
  <name>io.file.buffer.size</name>
   <value>131072</value>