hadoop 安装_Hadoop部署一Hadoop安装

       哈喽，同学们好，继上篇文章《Hadoop部署一jdk与MySQL》，我们安装好了jdk以及MySQL。我们现在开始安装部署Hadoop，开启Hadoop之旅。

一、下载Hadoop安装包

Hadoop官网：http://hadoop.apache.org/我这里用的Hadoop版本下载地址：http://archive.apache.org/dist/hadoop/core/hadoop-3.3.0/

二、解压Hadoop安装包(只在bigdata01做)

1、通过rz，把Hadoop安装包hadoop-3.3.0.tar.gz文件上传到bigdata01机器的/home/bigdata/install_pkg目录(为了方便，我们把安装包都放置同一个目录哈)。

2、执行解压缩命令：

tar -zxvf hadoop-3.3.0.tar.gz

3、把解压后的Hadoop目录，移动到安装目录/usr/local/soft目录下:

三、配置中Hadoop相关配置文件(只在bigdata01做)

1、在/usr/local/soft/hadoop-3.3.0目录下，配置jdk文件。

vi etc/hadoop/hadoop-env.sh

找到 “ export JAVA_HOME ” 这行，用来配置jdk路径，修改为：

export JAVA_HOME=/usr/local/soft/jdk1.8.0_161

2、在/usr/local/soft/hadoop-3.3.0目录下，配置core-site.xml文件。

vi etc/hadoop/core-site.xml

需要在和之间加入的代码：

        <property>            <name>fs.defaultFSname>            <value>hdfs://bigdata01:9000value>    property>        <property>            <name>hadoop.tmp.dirname>            <value>/usr/local/soft/hadoop-3.3.0/hadoopdatavalue>    property>

注意：hadoopdata目录需提前创建

3、在/usr/local/soft/hadoop-3.3.0目录下，配置hdfs-site.xml文件。

vi etc/hadoop/hdfs-site.xml

需要在和之间加入的代码：

        <property>            <name>dfs.replicationname>            <value>3value>    property>

4、在/usr/local/soft/hadoop-3.3.0目录下，配置yarn-site.xml文件。

vi etc/hadoop/yarn-site.xml

需要在和之间加入的代码：

        <property>            <name>yarn.nodemanager.aux-servicesname>            <value>mapreduce_shufflevalue>    property>        <property>            <name>yarn.resourcemanager.addressname>            <value>bigdata01:18040value>    property>    <property>            <name>yarn.resourcemanager.scheduler.addressname>            <value>bigdata01:18030value>    property>    <property>            <name>yarn.resourcemanager.resource-tracker.addressname>            <value>bigdata01:18025value>    property>    <property>            <name>yarn.resourcemanager.admin.addressname>            <value>bigdata01:18141value>    property>    <property>            <name>yarn.resourcemanager.webapp.addressname>            <value>bigdata01:18088value>    property>

5、在/usr/local/soft/hadoop-3.3.0目录下，配置mapred-site.xml文件。

vi etc/hadoop/mapred-site.xml

需要在和之间加入的代码：

                mapreduce.framework.name            yarn    

6、在/usr/local/soft/hadoop-3.3.0目录下，配置workers文件。workers文件给出了Hadoop集群的worker节点列表，该文件十分的重要，因为启动Hadoop的时候，系统总是根据当前workers文件中的worker节点名称列表启动集群，不在列表中的worker节点便不会被视为计算节点。

vi etc/hadoop/workers

添加bigdata02、bigdata03

注意：删除workers文件中原来localhost那一行！

7、复制Hadoop到其余两台机器

scp -r /usr/local/soft/hadoop-3.3.0 bigdata@bigdata02:/usr/local/soft

scp -r /usr/local/soft/hadoop-3.3.0 bigdata@bigdata03:/usr/local/soft

注意：因为权限问题，要在三台机器上修改一下文件的权限

sudo chmod 777 /usr/local/soft

四、Hadoop集群的启动

1、编辑.bash_profile文件(三台机器都做)

(1)vi ~/.bash_profile

(2)以下内容追加到文件的尾部：

#HADOOPexport HADOOP_HOME=/usr/local/soft/hadoop-3.3.0export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

(3)执行命令，使得配置生效：

source ~/.bash_profile

2、格式化文件系统(只在bigdata01做)

hadoop namenode -format

3、启动和关闭Hadoop集群(只在bigdata01做)

(1)进入/usr/local/soft/hadoop-3.3.0/sbin目录中：

cd /usr/local/soft/hadoop-3.3.0/sbin

(2)启动shell脚本：

start-all.sh

4、验证是否安装成功。

(1)在bigdata01，输入jps，出现

                              SecondaryNameNode、

                              ResourceManager、 

                              Jps 、

                              NameNode

这四个进程，则表明主节点master启动成功：

(2)在bigdata02、bigdata03，输入jps，出现

                              NodeManager、

                              Jps 、

                              DataNode

这三个进程，则表明从节点(bigdata02、bigdata03)启动成功：

五、通过网页访问集群的状态

1、hdfs访问地址：http://192.168.211.128:9870

2、yarn访问地址：http://192.168.211.128:18088(18088端口，是因为我们在yarn-site.xml文件中，通过yarn.resourcemanager.webapp.address参数，修改了网页的默认地址)

ps：

倘若，页面无法访问，则尝试关闭虚拟机的防火墙，然后再次尝试一下：

systemctl status firewalld.service(查看状态)

systemctl stop firewalld.service(关闭防火墙)

       同学们，经过上述操作后，我们Hadoop就配置好啦，下一期，我们开始讲一讲Hadoop的组件以及简单的开发，之后再逐渐安装hive、spark、hue等。