01 在CentOS7中安装Hadoop

hadoop是大数据入门组件，主要包括两个服务，hdfs以及mapreduce，前者是存储，后者是计算。本文将阐述hadoop的安装。

1 系统、软件以及前提约束

• CentOS 7 64 工作站 作者的机子ip是192.168.100.192，请读者根据自己实际情况设置
• jdk1.8.0_162 已经安装完毕，并配置环境变量，作者的环境变量为/root/jdk1.8.0_162，请读者根据自己实际情况设置
  jdk安装 https://www.jianshu.com/p/08b94347bb8a
• hadoop-2.5.2
  hadoop下载链接：https://pan.baidu.com/s/1c_skDYabCRSkS5hRUB6lFQ
  提取码：a00t
  hadoop-2.5.2.tar.gz已上传到192.168.100.192的/root目录下
• 为去除权限对操作的影响，所有操作都以root进行

2 操作

• 1 使用putty登录192.168.100.192，设置主机名

# 打开hosts文件
vim /etc/hosts
# 在hosts中添加以下内容
192.168.100.192 hadoop1

保存退出。

• 2 解压hadoop-2.5.2.tar.gz，作者解压好的目录为/root/hadoop-2.5.2

tar -xvf hadoop-2.5.2.tar.gz

• 3 编辑/root/hadoop-2.5.2/etc/hadoop/core-site.xml
  在configuration标签中加入以下内容，【注意：请读者一定按照自己的实际情况设置，例如主机的名称这里是hadoop1】

        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/hadoop/tmp</value>
                <description>Abase for other temporary directories.</description>
        </property>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop1:9000</value>
        </property>
        <property>
                <name>io.file.buffer.size</name>
                <value>4096</value>
        </property>

退出保存后，创建上面设置的临时目录/usr/hadoop/tmp

mkdir -p /usr/hadoop/tmp

• 5 编辑/root/hadoop-2.5.2/etc/hadoop/hdfs-site.xml
  在configuration标签中加入以下内容:

         <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:///usr/hadoop/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:///usr/hadoop/dfs/data</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>

退出保存后，创建上面涉及的两个文件夹：

mkdir -p /usr/hadoop/dfs/name
mkdir -p /usr/hadoop/dfs/data

• 6 编辑/root/hadoop-2.5.2/etc/hadoop/mapred-site.xml
  在configuration标签中加入以下内容:

        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
                <final>true</final>
        </property>

• 7 编辑/root/hadoop-2.5.2/etc/hadoop/yarn-site.xml
  在configuration标签中加入以下内容:

        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop1</value>
        </property>
        <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

• 8 编辑/root/hadoop-2.5.2/etc/hadoop/hadoop-env.sh
  添加环境变量：

export JAVA_HOME=/root/jdk1.8.0_162

• 9 编辑/root/hadoop-2.5.2/etc/hadoop/yarn-env.sh
  添加环境变量：

export JAVA_HOME=/root/jdk1.8.0_162

• 10 格式化

# 进入bin目录
/root/hadoop-2.5.2/bin
# 格式化【注意：如果需要输入yes，请输入yes】
./hdfs namenode -format

• 11 启动hdfs

# 进入sbin目录
cd /root/hadoop-2.5.2/sbin
# 启动【注意：如果需要输入密码，请输入密码】
./start-dfs.sh

• 12 启动yarn

# 进入sbin目录
cd /root/hadoop-2.5.2/sbin
# 启动【注意：如果需要输入密码，请输入密码】
./start-yarn.sh

• 13 验证，在命令行中输入jps命令
  得到以下结果，则安装和启动hadoop单机版成功：

   
   

  

  2.png
   

  至此，我们完成了安装和启动hadoop。