【hadoop】【Linux】在阿里云服务器上搭建Hadoop集群（单机版）（centos7）

1.jdk的安装（JDK8）

历史版本下载地址：https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html

将下载的安装包jdk-8u144-linux-x64.tar上传至/usr/java目录下。

然后进入/usr/java目录解压

tar -zxvf jdk-8u144-linux-x64.tar.gz

解压完成之后返回到根目录的etc文件夹下,改写profile配置文件

cd /etc
vi /etc/profile

在最后添加

export JAVA_HOME=/usr/java/jdk1.8.0_144
export JAVA_BIN=/usr/java/jdk1.8.0_144/bin
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

dk1.8.0_144就是上面的jdk压缩包解压后的文件名（视情况修改）

vi命令执行后，将显示profile文件内容。输入i回车进入insert模式。在文件最后添加上述内容后，按esc退出该模式，输入:wq，执行保存并退出。

最后记得更新配置文件

source /etc/profile

测试是否安装成功

java -version

出现上述内容，则成功！

2.修改主机名映射

在/etc/hosts文件中修改映射

#127.0.0.1	localhost	localhost.localdomain	localhost4	localhost4.localdomain4
#::1	localhost	localhost.localdomain	localhost6	localhost6.localdomain6

ip地址	Laboratroy319003	Laboratroy319003

注意这里的主机名Laboratroy319003，后面修改配置文件需要用到。

3.下载安装Hadoop

v2.7.3压缩包下载地址：https://hadoop.apache.org/release/2.7.3.html

下载完成后上传至服务器的/usr/hadoop路径下。

进行解压缩

tar -zxf hadoop-2.7.3.tar.gz

修改配置文件

【修改/etc/profile文件，在最后添加下列内容】

export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存后用source命令更新。

source /etc/profile

【修改hadoop-env.sh文件】

将25行

# The java implementation to use.
export JAVA_HOME=${JAVA_HOME}

修改为

# The java implementation to use.
export JAVA_HOME=/usr/java/jdk1.8.0_144

上述路径是前面配置Jdk的文件夹位置

【修改core-site.xml文件】

在configuration中添加：

<!-- 制定HDFS的老大（NameNode）的地址 -->
<property>
    <name>fs.defaultFS</name>
	<value>hdfs://Laboratroy319003:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录[能自动生成目录] -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/Laboratroy319003/hadoop/tmp</value>
</property>

【修改hdfs-site.xml文件】

在configuration中添加：

<!-- 指定HDFS副本的数量 -->
    <property>
         <name>dfs.replication</name>
         <value>1</value>
    </property>
    <property>
         <name>dfs.namenode.name.dir</name>                 <value>/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
          <name>dfs.datanode.data.dir</name>                      <value>/usr/local/hadoop/tmp/dfs/data</value>
    </property>

【修改mapred-site.xml文件】

需要复制一个模板文件

在/usr/hadoop/hadoop-2.7.3/etc/hadoop下

cp mapred-site.xml.template mapred-site.xml

然后vi mapred-site.xml

添加

<!-- 指定mr运行在yarn上 -->
		<property>
			<name>mapreduce.framework.name</name>
			<value>yarn</value>
        </property>

【修改yarn-site.xml文件】

在configuration添加

<!-- 指定YARN的老大（ResourceManager）的地址 -->
		<property>
			<name>yarn.resourcemanager.hostname</name>
			<value>Laboratroy319003</value>
        </property>
		<!-- reducer获取数据的方式 -->
        <property>
			<name>yarn.nodemanager.aux-services</name>
			<value>mapreduce_shuffle</value>
        </property>

格式化namenode

hadoop namenode -format

报错：

SHUTDOWN_MSG: Shutting down NameNode at Laboratroy319003/172.19.57.112

不用理会，向上翻如果有下列信息，则说明已经成功。

INFO common.Storage: Storage directory /usr/local/hadoop/tmp/dfs/name has been successfully formatted.

启动hadoop

start-dfs.sh
start-yarn.sh

这一过程需要yes三次并输入三次root密码

最后验证是否成功

jps

最后出现下列结果则表示成功！

|

参考

大佬写的很详细：https://blog.csdn.net/leanaoo/article/details/83098354

非常感谢！