哈喽,同学们好,继上篇文章《Hadoop部署一jdk与MySQL》,我们安装好了jdk以及MySQL。我们现在开始安装部署Hadoop,开启Hadoop之旅。
一、下载Hadoop安装包
Hadoop官网:http://hadoop.apache.org/我这里用的Hadoop版本下载地址:http://archive.apache.org/dist/hadoop/core/hadoop-3.3.0/
二、解压Hadoop安装包(只在bigdata01做)
1、通过rz,把Hadoop安装包hadoop-3.3.0.tar.gz文件上传到bigdata01机器的/home/bigdata/install_pkg目录(为了方便,我们把安装包都放置同一个目录哈)。
2、执行解压缩命令:
tar -zxvf hadoop-3.3.0.tar.gz
3、把解压后的Hadoop目录,移动到安装目录/usr/local/soft目录下:
三、配置中Hadoop相关配置文件(只在bigdata01做)
1、在/usr/local/soft/hadoop-3.3.0目录下,配置jdk文件。
vi etc/hadoop/hadoop-env.sh
找到 “ export JAVA_HOME ” 这行,用来配置jdk路径,修改为:
export JAVA_HOME=/usr/local/soft/jdk1.8.0_161
2、在/usr/local/soft/hadoop-3.3.0目录下,配置core-site.xml文件。
vi etc/hadoop/core-site.xml
需要在和之间加入的代码:
<property> <name>fs.defaultFSname> <value>hdfs://bigdata01:9000value> property> <property> <name>hadoop.tmp.dirname> <value>/usr/local/soft/hadoop-3.3.0/hadoopdatavalue> property>
注意:hadoopdata目录需提前创建
3、在/usr/local/soft/hadoop-3.3.0目录下,配置hdfs-site.xml文件。
vi etc/hadoop/hdfs-site.xml
需要在和之间加入的代码:
<property> <name>dfs.replicationname> <value>3value> property>
4、在/usr/local/soft/hadoop-3.3.0目录下,配置yarn-site.xml文件。
vi etc/hadoop/yarn-site.xml
需要在和之间加入的代码:
<property> <name>yarn.nodemanager.aux-servicesname> <value>mapreduce_shufflevalue> property> <property> <name>yarn.resourcemanager.addressname> <value>bigdata01:18040value> property> <property> <name>yarn.resourcemanager.scheduler.addressname> <value>bigdata01:18030value> property> <property> <name>yarn.resourcemanager.resource-tracker.addressname> <value>bigdata01:18025value> property> <property> <name>yarn.resourcemanager.admin.addressname> <value>bigdata01:18141value> property> <property> <name>yarn.resourcemanager.webapp.addressname> <value>bigdata01:18088value> property>
5、在/usr/local/soft/hadoop-3.3.0目录下,配置mapred-site.xml文件。
vi etc/hadoop/mapred-site.xml
需要在和之间加入的代码:
mapreduce.framework.name yarn
6、在/usr/local/soft/hadoop-3.3.0目录下,配置workers文件。workers文件给出了Hadoop集群的worker节点列表,该文件十分的重要,因为启动Hadoop的时候,系统总是根据当前workers文件中的worker节点名称列表启动集群,不在列表中的worker节点便不会被视为计算节点。
vi etc/hadoop/workers
添加bigdata02、bigdata03
注意:删除workers文件中原来localhost那一行!
7、复制Hadoop到其余两台机器
scp -r /usr/local/soft/hadoop-3.3.0 bigdata@bigdata02:/usr/local/soft
scp -r /usr/local/soft/hadoop-3.3.0 bigdata@bigdata03:/usr/local/soft
注意:因为权限问题,要在三台机器上修改一下文件的权限
sudo chmod 777 /usr/local/soft
四、Hadoop集群的启动
1、编辑.bash_profile文件(三台机器都做)
(1)vi ~/.bash_profile
(2)以下内容追加到文件的尾部:
#HADOOPexport HADOOP_HOME=/usr/local/soft/hadoop-3.3.0export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
(3)执行命令,使得配置生效:
source ~/.bash_profile
2、格式化文件系统(只在bigdata01做)
hadoop namenode -format
3、启动和关闭Hadoop集群(只在bigdata01做)
(1)进入/usr/local/soft/hadoop-3.3.0/sbin目录中:
cd /usr/local/soft/hadoop-3.3.0/sbin
(2)启动shell脚本:
start-all.sh
4、验证是否安装成功。
(1)在bigdata01,输入jps,出现
SecondaryNameNode、
ResourceManager、
Jps 、
NameNode
这四个进程,则表明主节点master启动成功:
(2)在bigdata02、bigdata03,输入jps,出现
NodeManager、
Jps 、
DataNode
这三个进程,则表明从节点(bigdata02、bigdata03)启动成功:
五、通过网页访问集群的状态
1、hdfs访问地址:http://192.168.211.128:9870
2、yarn访问地址:http://192.168.211.128:18088(18088端口,是因为我们在yarn-site.xml文件中,通过yarn.resourcemanager.webapp.address参数,修改了网页的默认地址)
ps:
倘若,页面无法访问,则尝试关闭虚拟机的防火墙,然后再次尝试一下:
systemctl status firewalld.service(查看状态)
systemctl stop firewalld.service(关闭防火墙)
同学们,经过上述操作后,我们Hadoop就配置好啦,下一期,我们开始讲一讲Hadoop的组件以及简单的开发,之后再逐渐安装hive、spark、hue等。