VM-CentOS7搭建hadoop

风影蝉鸣

于 2020-09-28 18:52:22 发布

阅读量315

点赞数

分类专栏：杂七杂八

本文链接：https://blog.csdn.net/weixin_45609519/article/details/108855334

版权

杂七杂八专栏收录该内容

6 篇文章 0 订阅

订阅专栏

VM-CentOS7搭建hadoop小型集群

一、安装三台向虚拟机并实现SSH免密登录

1.1 安装三台虚拟机CentOS7

第一台按照下方链接正常安装，后两台依据第一台进行克隆。记得要分别配置IP地址，关闭防火墙和SELINUX

https://hq0749a.blog.csdn.net/article/details/108696766

关闭防火墙和SELINUX命令：(CentOS7默认使用firewall作为防火墙)

注：以下命令均在终端中执行

#停止firewall
systemctl stop firewalld.service 

#禁止firewall开机启动
systemctl disable firewalld.service 

# 修改 /etc/selinux/config 文件中的 SELINUX=”” 为 disabled ，然后重启。
vi /etc/selinux/config
SELNIUX=disabled

# 重启centos7
reboot

1.2 分别修改服务器名以及链接其他服务器的IP名

1.2.1 修改服务名

# 查看当前服务器名
hostname

# 修改本机服务器名
hostnamectl set-hostname 自设服务器名

1.2.2 修改其他服务器链接时的IP名

vi /etc/hosts

在这里插入图片描述

**注：另外两台虚拟机也按照同样的设置。

设置完成后每台虚拟机都需要重启。

配置完成后可以使用ping命令检查这3个机器是否相互ping通，以hadoop为例

# -c命令是ping几次，如果不设置停止，linux会一直执行ping命令
ping -c 3 hadoop1

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OaOo0zfw-1601290075514)(C:\Users\CSDN\AppData\Roaming\Typora\typora-user-images\image-20200928134153489.png)]$

1.3 进行SSH免密互登设置

1.3.1 检查SSH client、SSH server是否已经安装，一般情况下是默认安装

rpm -qa | grep ssh
# 如果未安装 执⾏
sudo yum install openssh-clients
sudo yum install openssh-server
# 测试SSH
ssh localhost
# 执⾏后输⼊⽤户hadoop的登录密码
# 提示符号由[hadoop@localhost root]变成[hadoop@localhost ~]
# ~代宿主⽬录, 例如 当前~代表/home/hadoop ⽬录,类似windows下 的user/XXX

1.3.2 配置SSH公钥

# 使用rsa或dsa加密，选择一种即可
ssh-keygen -t rsa
ssh-keygen -t dsa

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ENH8DKna-1601290075515)(C:\Users\CSDN\AppData\Roaming\Typora\typora-user-images\image-20200928135132412.png)]$

另外两个虚拟机也同样执行 #ssh-keygen -t rsa 操作。

分别把 hadoop1 和 hadoop2 上的 id_rsa.pub 通过 scp 复制到 node01的 .ssh 目录下。

#分别在hadoop1，hadoop2上执行下面命令
scp id_rsa.pub root@hadoop1:$PWD/id_rsa.pub2

scp id_rsa.pub root@hadoop2:$PWD/id_rsa.pub3

把公钥写入 authorized_keys

# cd ~/.ssh/
cat id_rsa.pub >> authorized_keys
cat id_rsa.pub2 >> authorized_keys
cat id_rsa.pub3 >> authorized_keys

修改文件权限

# 最大权限777,需要设置600以上
chmod 600 /root/.ssh/authorized_keys

然后把 authorized_keys 再复制到 hadoop1 和 hadoop2 上

scp /root/.ssh/authorized_keys root@192.168.137.7:/root/.ssh/
scp /root/.ssh/authorized_keys root@192.168.137.8:/root/.ssh/

执行后需要重启 CentOS7。

通过 # ssh hadoop1 测试是否可以免密互登。通过命令 exit 退出。

**注：**验证时，可能会出现如下错误

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9BVqzhUX-1601290075516)(C:\Users\CSDN\AppData\Roaming\Typora\typora-user-images\image-20200928145445870.png)]$

# 使用如下命令可以避免以后在此处出现
# StrictHostKeyChecking=no  第一次登陆服务器时自动拉取key文件
ssh  -o StrictHostKeyChecking=no  192.168.137.xxx

# 或是修改/etc/ssh/ssh_config文件的配置，在最后面添加：
StrictHostKeyChecking no
UserKnownHostsFile /dev/null

二、安装 java-jdk和Hadoop

查看当前系统中是否存在java环境

rpm -qa |grep java
rpm -qa |grep jdk
# gcj是针对java的一个环境编译器，这个有没有不影响后续操作
rpm -qa |grep gcj

CentOS7中有很多版本的java，一般我们使用java-1.8.0版本的

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BfAH35ti-1601290075517)(C:\Users\CSDN\AppData\Roaming\Typora\typora-user-images\image-20200928155902086.png)]$

2.1 下载及配置 JAVA

2.1.1 下载 java-jdk

sudo yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel

或者是通过 VM 的共享文件夹 /mnt/hgfs 进行安装包传入并解压缩

# 解压缩命令
tar -xzvf jdk-8u201-linux-x64.tar

2.1.2 配置环境变量

修改 /etc/profile ，文件尾部增加以下内容

vi /etc/profile

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.212.b04-0.el7_6.x86_64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7Qr9chqn-1601290075519)(C:\Users\CSDN\AppData\Roaming\Typora\typora-user-images\image-20200928161627545.png)]$

使profile文件生效，还需在终端执行下面的命令：

source  /etc/profile

测试是否安装成功，执行命令

java -version
javac -version

2.2 安装和配置 Hadoop

注：每一台均进行同样的操作，以下搭建过程中的端口设置，请先检查个人服务器是否有端口冲突。

2.2.1 下载 Hadoop3.3.0

# 默认下载到 ~/ 宿主目录下
wget https://mirrors.cnnic.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz
# 或
wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.0/hadoop-3.3.0-aarch64.tar.gz

或是在主机中下载并移至VM的共享文件夹中

2.2.2 安装 Hadoop

在 opt 目录下新建一个名为 hadoop 的目录，并将下载得到的 hadoop-3.3.0.tar.gz 解压到该目录

tar -xzvf /mnt/hgfs/hadoop-3.3.0.tar.gz -C /opt/hadoop/

在 /root 目录下新建几各目录，复制粘贴执行下面的命令：

mkdir  /root/hadoop
mkdir  /root/hadoop/tmp
mkdir  /root/hadoop/var
mkdir  /root/hadoop/dfs
mkdir  /root/hadoop/dfs/name
mkdir  /root/hadoop/dfs/data

2.2.3 配置 Hadoop

修改 /etc/hadoop 中的一系列配置文件

vi /opt/hadoop/hadoop-3.2.0/etc/hadoop/

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MMSaxSWq-1601290075519)(C:\Users\CSDN\AppData\Roaming\Typora\typora-user-images\image-20200928173149114.png)]$

修改 core-site.xml

在节点内加入配置：

<property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        
        <value>hdfs://hadoop:9000</value>
        
   </property>

注意： hdfs://server1:9000 此处应与hostname保持一致。

修改hdfs-site.xml

在节点内加入配置:

<property>
   <name>dfs.name.dir</name>
   <value>/root/hadoop/dfs/name</value>
   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
   <name>dfs.data.dir</name>
   <value>/root/hadoop/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
   <name>dfs.replication</name>
   <value>2</value>
</property>

<property>
      <name>dfs.permissions</name>
      <value>false</value>
      <description>need not permissions</description>
</property>

说明：dfs.permissions 配置为false后，可以允许不要检查权限就生成dfs上的文件，方便倒是方便了，但是你需要防止误删除，请将它设置为true，或者直接将该property节点删除，因为默认就是true。

新建并且修改mapred-site.xml

在该版本中，有一个名为mapred-site.xml的文件，复制该文件，后改名mapred-site.xml.template，命令是：

cp mapred-site.xml mapred-site.xml.template

修改这个新建的mapred-site.xml文件，在节点内加入配置:

 <property>
   <name>mapred.job.tracker</name>
   
   <value>hadoop:49001</value>
   
</property>

<property>
      <name>mapred.local.dir</name>
       <value>/root/hadoop/var</value>
</property>
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

注意： hadoop:49001

修改workers文件（旧版本可能修改 slaves 文件）

修改worker文件，将里面的localhost删除，添加如下内容：
hadoop1
hadoop2
第二台虚拟机添加如下内容：
hadoop
hadoop2

注：如果是单节点运行则不需要修改。

修改yarn-site.xml文件

在节点内加入配置(内存根据机器配置越大越好，我这里只配2个G是因为虚拟机安装测试):

<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop</value>
   </property>

   <property>
        <description>The address of the applications manager interface in the RM.</description>
        <name>yarn.resourcemanager.address</name>
        <value>${yarn.resourcemanager.hostname}:8032</value>
   </property>

   <property>
        <description>The address of the scheduler interface.</description>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>${yarn.resourcemanager.hostname}:8030</value>
   </property>

   <property>
        <description>The http address of the RM web application.</description>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>${yarn.resourcemanager.hostname}:8088</value>
   </property>

   <property>
        <description>The https adddress of the RM web application.</description>
        <name>yarn.resourcemanager.webapp.https.address</name>
        <value>${yarn.resourcemanager.hostname}:8090</value>
   </property>

   <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>${yarn.resourcemanager.hostname}:8031</value>
   </property>

   <property>
        <description>The address of the RM admin interface.</description>
        <name>yarn.resourcemanager.admin.address</name>
        <value>${yarn.resourcemanager.hostname}:8033</value>
   </property>

   <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
   </property>

   <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>2048</value>
        <discription>每个节点可用内存,单位MB,默认8182MB</discription>
   </property>

   <property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>2.1</value>
   </property>

   <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>2048</value>
</property>

   <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
</property>

注意：端口号与里面的值，后期优化配置需要修改，第一次配可以全复制。
说明：yarn.nodemanager.vmem-check-enabled这个的意思是忽略虚拟内存的检查，如果你是安装在虚拟机上，这个配置很有用，配上去之后后续操作不容易出问题。如果是实体机上，并且内存够多，可以将这个配置去掉。

另外两台虚拟机同样配置

重复上述步骤

验证 Hadoop 是否安装成功

 cd   /opt/hadoop/hadoop-3.3.0/bin
 ./hadoop version

三、集群式启动 Hadoop

因为 hadoop 是namenode， hadoop1 和 hadoop2 都是datanode，所以只需要对 hadoop 进行初始化操作，也就是对hdfs进行格式化。

1、进入到hserver1这台机器的/opt/hadoop/hadoop-3.2.0/bin目录，也就是执行命令：

 cd   /opt/hadoop/hadoop-3.3.0/bin

执行初始化脚本，也就是执行命令：

 ./hadoop  namenode  -format

等几秒没报错就是执行成功，格式化成功后，可以在看到在/root/hadoop/dfs/name/目录多了一个current目录，而且该目录内有一系列文件。

2、在namenode上执行启动命令

因为 hadoop 是namenode， hadoop1 和 hadoop2 都是datanode，所以只需要再 hadoop 上执行启动命令即可。

进入到 hadoop 这台机器的/opt/hadoop/hadoop-3.3.0/sbin目录

执行初始化脚本，也就是执行命令：

 ./start-all.sh

第一次执行上面的启动命令，会需要我们进行交互操作，在问答界面上输入yes回车。

正常登陆的截图：

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-u3pDyemK-1601290075521)(C:\Users\CSDN\Desktop\20190221110915743.png)]$

(PS：这里是借用其他人的图片，时间有点紧，待后续配置完成重新放置哈)

上图中的 server1 是namanode，该机器的IP是192.168.10.198

访问 overview 页面

在本地电脑访问如下地址:【http://192.168.10.198:9870/】

注：3.x版本现在是启动 9870 端口。

访问 cluster 页面

在本地电脑访问如下地址:【http://192.168.10.198:8088/】

关闭 Hadoop

执行命令：

 ./stop-dfs.sh

参考链接：

https://blog.csdn.net/u013457387/article/details/87856770
https://www.cnblogs.com/xuzhaoyang/p/11448941.html

http://hadoop.apache.org/

风影蝉鸣

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
VM-CentOS7搭建hadoop

VM-CentOS7搭建hadoop小型集群一、安装三台向虚拟机并实现SSH免密登录1.1 安装三台虚拟机CentOS7第一台按照下方链接正常安装，后两台依据第一台进行克隆。记得要分别配置IP地址，关闭防火墙和SELINUXhttps://hq0749a.blog.csdn.net/article/details/108696766关闭防火墙和SELINUX命令：(CentOS7默认使用firewall作为防火墙)注：以下命令均在终端中执行#停止firewallsystemctl stop
复制链接

扫一扫

专栏目录