Hadoop集群搭建

最新推荐文章于 2024-08-31 23:02:38 发布

Stephen.X

最新推荐文章于 2024-08-31 23:02:38 发布

阅读量884

点赞数 3

文章标签： hadoop big data

本文链接：https://blog.csdn.net/qq_54068745/article/details/120002133

版权

因为要参加比赛所以本人写了一篇博客记录一下hadoop集群的搭建，第一次搭建完全分布式，所以基本上都是完成了之后再去写这篇博客，部分内容不可以以图片形式展现了，实在抱歉。

三台机器分别为ahdsj2020amaster，ahdsj2020aslave1，shdsj2020aslave2

1、下载Hadoop以及Jdk

hadoop下载地址：Index of /dist/hadoop/common/hadoop-2.7.1

jdk下载地址：Java Downloads | Oracle

需要Oracle账号密码，这里我从网上找到一个账号密码

Oracle帐号：2696671285@qq.com
Oracle密码：Oracle123

2.修改用户名以及对应的IP

vi /etc/hostname

改为你所对应的主机名

vi /etc/hosts

修改你所规划的机器，做ip映射

紧接着配置网络

vi /etc/sysconfig/network-scripts/ifcfg-ens33

注意ip一定要改成静态ip

上述配置完成后重启网络

service network restart

3.机器安装JAVA环境，Hadoop环境

在此之前我们需要删除系统内自带的jdk

rpm -qa | grep java

查看系统自带的jdk

对部分jdk进行删除

rpm -e --nodeps 加上我们需要删除的jdk

依次删除

将我们刚刚下载好的jdk 和hadoop进行解压

一般默认下载到Downloads里面

（1）首先我们先解压jdk到指定的目录

将文件拷贝到/usr/lib/jvm 解压缩

cd /home/master/Downloads

tar -zxvf jdk-8u301-linux-x64.tar -C /usr/lib/jvm

这样我们就压缩到指定目录了

（2）修改/etc/profile这个文件

我们在最后添加如下内容

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_301

export CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/

export PATH=$PATH:$JAVA_HOME/bin

export HADOOP_HOME=/opt/hadoop//hadoop-3.2.2

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

source /etc/profile

（3）验证

为了验证是否压缩成功

java -version进行验证出现下面结果即为成功

（4）hadoop解压

（1）在opt目录下新建一个名为hadoop的目录，并将下载得到的hadoop-2.7.1.tar.gz解压到该目录

mkdir /opt/hadoop

cd /home/master/Downloads

tar -zxvf hadoop-2.7.1.tar.gz -C /opt/hadoop

(2)新建几个目录
在/root目录下新建几个目录，复制粘贴执行下面的命令：

mkdir /root/hadoop
mkdir /root/hadoop/tmp
mkdir /root/hadoop/var
mkdir /root/hadoop/dfs
mkdir /root/hadoop/dfs/name
mkdir /root/hadoop/dfs/data

(3)修改etc/hadoop中的一系列配置文件(重点）

都是在目录下进行：/opt/hadoop/hadoop-2.7.1/etc/hadoop/

（1）修改core-site.xml
在<configuration>节点内加入配置:

<name>hadoop.tmp.dir</name>

<value>/root/hadoop/tmp</value>

<description>Abase for other temporary directories.</description>

</property>

<name>fs.default.name</name>

<value>hdfs://ahdsj2020amaster:9000</value>

</property>
上述加粗内容要改成自己主机名

（2）修改hadoop-env.sh

将export JAVA_HOME=${JAVA_HOME}

再多在下面一行打印一下

修改为：

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_301

（3）修改hdfs-site.xml
在<configuration>节点内加入配置:

<value>/root/hadoop/dfs/name</value>

<description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>

</property>

<value>/root/hadoop/dfs/data</value>

<description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>

</property>

<name>dfs.replication</name>

</property>

<name>dfs.permissions</name>

<value>false</value>

<description>need not permissions</description>

</property>

（4）

新建并且修改mapred-site.xml
在该版本中，有一个名为mapred-site.xml的文件，复制该文件，后改名mapred-site.xml.template，命令是：
cp ./mapred-site.xml.template ./mapred-site.xml

修改这个新建的mapred-site.xml文件，在<configuration>节点内加入配置:

<name>mapred.job.tracker</name>

<value>ahdsj2020amaster:49001</value>

</property>

<name>mapred.local.dir</name>

<value>/root/hadoop/var</value>

</property>

<name>mapreduce.framework.name</name>

</property>

(5)

修改yarn-site.xml文件
在<configuration>节点内加入配置(注意了，内存根据机器配置越大越好，我这里只配2个G是因为虚拟机安装测试):

<name>yarn.resourcemanager.hostname</name>

<value>ahdsj2020amaster</value>

</property>

<description>The address of the applications manager interface in the RM.</description>

<name>yarn.resourcemanager.address</name>

<value>${yarn.resourcemanager.hostname}:8032</value>

</property>

<description>The address of the scheduler interface.</description>

<name>yarn.resourcemanager.scheduler.address</name>

<value>${yarn.resourcemanager.hostname}:8030</value>

</property>

<description>The http address of the RM web application.</description>

<name>yarn.resourcemanager.webapp.address</name>

<value>${yarn.resourcemanager.hostname}:8088</value>

</property>

<description>The https adddress of the RM web application.</description>

<name>yarn.resourcemanager.webapp.https.address</name>

<value>${yarn.resourcemanager.hostname}:8090</value>

</property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>${yarn.resourcemanager.hostname}:8031</value>

</property>

<description>The address of the RM admin interface.</description>

<name>yarn.resourcemanager.admin.address</name>

<value>${yarn.resourcemanager.hostname}:8033</value>

</property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<name>yarn.scheduler.maximum-allocation-mb</name>

<discription>每个节点可用内存,单位MB,默认8182MB</discription>

</property>

<name>yarn.nodemanager.vmem-pmem-ratio</name>

</property>

<name>yarn.nodemanager.resource.memory-mb</name>

</property>

<name>yarn.nodemanager.vmem-check-enabled</name>

<value>false</value>

</property>

其次需要再相应目录下编辑workers文件，机器1需要修改localhost为对应2，3

机器2改为对应1，3

4、克隆2台虚拟机

这里自行百度克隆方法

注意：一定要注意克隆完成后要进行如下操作，本人就是卡了1天这个问题导致生成的克隆机器ip地址一直和原来机器一样

点击生成然后确定

接下里打开虚拟机

按照第2部分内容进行配置网络主机名称等等

接下来进行免密登录设置

一开始每台机器都要关闭防火墙

关闭防火墙

systemctl stop firewalld.service

设置开机禁止启动

systemctl disable firewalld.service

生成公钥

ssh-keygen -t rsa

分发公钥

ssh-copy-id ahdsj2020amaster
ssh-copy-id ahdsj2020amaster
ssh-copy-id ahdsj2020amaster

在三个节点上重复以上命令

我这里只展示部分图片

为了验证是否成功我们ping一下

6.启动集群

因为ahdsj2020amaster是namenode，ahdsj2020aslave1和ahdsj2020aslave2都是datanode，所以只需要对ahdsj2020asmaster进行初始化操作，也就是对hdfs进行格式化。

（1）进入到hserver1这台机器的/opt/hadoop/hadoop-2.7.1/bin目录，也就是执行命令：
cd /opt/hadoop/hadoop-2.7.1/bin

执行初始化脚本，也就是执行命令：

./hadoop namenode -format

等几秒没报错就是执行成功，格式化成功后，可以在看到在/root/hadoop/dfs/name/目录多了一个current目录，而且该目录内有一系列文件。

2）在namenode上执行启动命令
因为ahdsj2020amaster是namenode，ahdsj2020aslave1和ahdsj2020aslave2都是datanode，所以只需要再ahdsj2020amaster上执行启动命令即可。

进入到ahdsj2020amaster这台机器的/opt/hadoop/hadoop-2.7.1/sbin目录

执行初始化脚本，也就是执行命令：

./start-all.sh

解决办法：
修改start_dfs.sh stop-dfs.sh start-yarn.sh stop-yarn.sh

在start_dfs.sh 、stop-dfs.sh两个文件开头位置添加如下配置：

HDFS_DATANODE_USER=root

HADOOP_SECURE_DN_USER=root

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

注意：一定要是开头位置。

在start-yarn.sh 、stop-yarn.sh两个文件开头位置添加如下配置：

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=root

YARN_NODEMANAGER_USER=root

之后jps查看进程

三台机器进程分别为：

分别打开两个端口

ip地址：50070

ip地址：8088

错误总结：1.本人一开始是在配置完成网络后，进行虚拟机克隆，然后免密登录，后来想到每一台机器都需要配置内容，很麻烦，因为第一次尝试完全分布式搭建，所以百度了scp方法，虽然成功了，但是麻烦了许多倍，后来就先配置完成一台机器，再进行克隆，这样免去了很多步骤，只需要配置一下剩下克隆机器的网络等就可以完成了。

Stephen.X

关注

3
点赞
踩
1

收藏

觉得还不错? 一键收藏
2
评论
Hadoop集群搭建

因为要参加比赛所以本人写了一篇博客记录一下hadoop集群的搭建，第一次搭建完全分布式，所以基本上都是完成了之后再去写这篇博客，部分内容不可以以图片形式展现了，实在抱歉。三台机器分别为ahdsj2020amaster，ahdsj2020aslave1，shdsj2020aslave21、下载Hadoop以及Jdkhadoop下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.7.1/jdk下载地址：https://www.o
复制链接

扫一扫