新建虚拟机+hadoop环境搭建

最新推荐文章于 2023-01-18 16:14:44 发布

就躺了吧

最新推荐文章于 2023-01-18 16:14:44 发布

阅读量2.8k

点赞数 1

文章标签： hadoop linux

本文链接：https://blog.csdn.net/weixin_44995829/article/details/111026393

版权

链接：https://pan.baidu.com/s/1-TIBt58h32LU5GOGy09ibQ
提取码：1234

1.新建虚拟机

在VMware中新建虚拟机的步骤如下：
在VMware中，单击菜单栏的【文件】，然后选择【新建虚拟机】，在弹出的新建虚拟机向导窗口中，选择【典型】，然后单击【下一步】。如下图所示。
在这里插入图片描述

在新弹出的窗口中选择【稍后安装操作系统】，然后单击【下一步】。如下图所示。

在新窗口的【客户机操作系统】选项中选择【Linux(L)】，然后下拉框内选择【Ubuntu 64 位】，然后单击【下一步】。如下图所示。
在这里插入图片描述

在新窗口中，【虚拟机名称】默认为“CentOS 64位”，也可以改成自己的名称，此处改为“centos01”。【位置】可以修改成虚拟机在硬盘中的位置，然后单击【下一步】。如下图所示。
在这里插入图片描述

在新窗口中，【最大磁盘大小】默认为20G，可以根据需要进行调整，这里保持默认。选择【将虚拟磁盘拆分成多个文件】选项，单击【下一步】。如下图所示。
在这里插入图片描述

新窗口中显示出了当前虚拟机的配置信息，如果需要对配置（内存、硬盘等）进行调整，单击【自定义硬件】按钮进行调整即可。这里直接单击【完成】按钮。
在这里插入图片描述

配置完成后，在新建的虚拟机主窗口中，单击【编辑虚拟机设置】按钮，如下图所示。
在这里插入图片描述

在弹出的【虚拟机设置】窗口中，选择【CD/DVD】，然后单击右侧【使用ISO镜像文件】选项，并单击其下方的【浏览】按钮，在浏览文件窗口中选择之前下载的Ubuntu镜像文件，然后单击【确定】按钮。如下图所示。
在这里插入图片描述

2.安装操作系统

记住空格键为选中，enter键为下一步
1.选择系统语言-English；
在这里插入图片描述

2.选择操作-Install Ubuntu Server；
在这里插入图片描述

3.选择安装过程和系统的默认语言-English；
在这里插入图片描述

4.选择区域-other；
在这里插入图片描述

5.选择亚洲-Asia；
在这里插入图片描述

6.选择国家-China；
在这里插入图片描述

7.选择字符集编码-United States；
在这里插入图片描述

8.是否扫描和配置键盘，选择否-No；
在这里插入图片描述

9.选择键盘类型-English (US)；
在这里插入图片描述

10.选择键盘布局-English (US)；
在这里插入图片描述

11.设置主机名称(自行设置，这里我设置为“Docker06”)-Continue；
在这里插入图片描述

12.设置用户全名(这里为“Mongo”)-Continue；
在这里插入图片描述

13.设置登录账号(这里为“mongo”)-Continue；
在这里插入图片描述

14.设置登录密码(空格选择“Show Password in Clear”可以显示密码)-Continue；
在这里插入图片描述

15.重复上一步设置的登录密码-Continue；
在这里插入图片描述

16.是否加密home文件夹，选择否-No；
在这里插入图片描述

17.确认时区是否正确(这里是“Asia/Shanghai”正确)，选择是-Yes；
在这里插入图片描述

18.选择分区方式(分区向导-使用整个磁盘)-“Guided - use entire disk”；
在这里插入图片描述

19.选择要分区的磁盘(这里只有一块)-“SCSI3 ···”；
在这里插入图片描述

20.是否将变更写入磁盘，选择是-Yes；
在这里插入图片描述

21.设置HTTP代理，无需填写直接下一步-Continue；
在这里插入图片描述

22.设置系统升级方式，选择自动升级-Install security updates automatically；
在这里插入图片描述

23.选择要安装的软件，多加一个OpenSSH Server（按空格选中），然后下一步-Continue；
在这里插入图片描述

24.是否安装GRUB引导程序，选择是-Yes；
在这里插入图片描述

25.完成安装，选择下一步-Continue；
在这里插入图片描述

26.系统安装完会自动启动主机，然后输入设置好的登录账户和密码就可以开始使用了；
在这里插入图片描述

在这里插入图片描述

3.修改root密码

Ubuntu的默认root密码是随机的，即每次开机都有一个新的root密码。我们可以在终端输入命令 sudo passwd，然后输入当前用户的密码，enter。
终端会提示我们输入新的密码并确认，此时的密码就是root新密码。修改成功后，输入命令 su root，再输入新的密码就可以了。
在这里插入图片描述

4.环境配置

4.1 关闭防火墙
【操作目的】
集群一般都是内网搭建的，如果内网内开启防火墙，内网集群通讯会容易出现很多问题。因此需要关闭集群中每个节点的防火墙。
【操作步骤】
执行以下命令进行关闭防火墙：

sudo  ufw  disable

然后执行以下命令，禁止防火墙开机启动：

sudo  ufw  default  deny

其它相关命令如下：
查看防火墙状态：

sudo ufw status

4.2 设置固定IP
【操作目的】
为了避免后续启动操作系统后，IP地址改变了，导致本地SSH连接不上，节点间无法访问，需要将操作系统设置为固定IP。
【操作步骤】
1.修改子网IP
在VMWare中单击菜单栏的【编辑】/【虚拟网络编辑器】，弹出以下界面，然后选中VMnet8 NAT模式，并修改子网IP，节点的IP地址必须与子网IP的网段一致。
在这里插入图片描述

第一步：先获取网卡名称，输入ifconfig,如下图，我们的网卡名称为 ens33
ifconfig
在这里插入图片描述

第二步：修改网卡配置文件sudo vim /etc/network/interfaces

sudo  vim /etc/network/interfaces

添加以下内容：

auto et333
iface et333 inet static
address 192.168.170.121    （IP地址写自己号段内的，此处我的是170）
netmask 255.255.255.0
gateway 192.168.170.1
dns-nameserver 8.8.8.8

第三步：修改DNS配置

 sudo vim /etc/resolvconf/resolv.conf.d/head

在这里插入图片描述

第四部：重启网络服务 $ sudo /etc/init.d/networking restart

sudo /etc/init.d/networking restart

到此为止就设置好静态IP了.
如果你的CRT连接报错The remote system refused the connection.
可能是没有安装ssh 服务，输入下面命令即可

sudo apt-get install  openssh-server

4.3 ssh远程登录失败解决

sudo vim /etc/ssh/sshd_config

找到并用#注释掉这行：PermitRootLogin prohibit-password
新建一行添加：PermitRootLogin yes
重启服务

#sudo service ssh restart

4.4 新建目录
在/opt下创建目录softwares、modules、data，分别用于存放软件安装包、软件安装数据和其它数据：

mkdir /opt/softwares
mkdir /opt/modules
mkdir /opt/data

4.5 安装JDK
【操作目的】
Hadoop集群的运行依赖于Java环境，因此在安装Hadoop之前需要安装好JDK。
【操作步骤】
JDK的安装步骤如下：
1.安装JDK
上传安装包jdk-8u101-linux-x64.tar.gz到目录/opt/softwares中，然后进入目录/opt/softwares，解压jdk-8u101-linux-x64.tar.gz到目录/opt/modules中，解压命令如下：

tar -zxf jdk-8u101-linux-x64.tar.gz -C /opt/modules/

修改文件/etc/profile，配置JDK环境变量：

vi /etc/profile

在文件末尾加入以下内容：

export JAVA_HOME=/opt/modules/jdk1.8.0_144
export PATH=$JAVA_HOME/bin:$PATH

刷新profile文件，使修改生效。

source /etc/profile

执行java -version命令，查看是否能成功输出JDK版本信息，信息如下：

java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.101-b13, mixed mode)

到此，JDK安装成功。
4.6 修改主机名
【操作目的】
在分布式集群中，主机名用于区分不同的节点，并方便节点之间相互访问，因此需要修改主机的主机名。
【操作步骤】
执行以下命令，修改hostname文件，将其中的主机名改为ubuntu01：

vi /etc/hostname

重启系统使修改生效。
注意：修改主机名需要重启才能生效。
4.7 配置主机IP映射
【操作目的】
通过修改各节点的主机IP映射，可以方便的通过主机名访问集群中的其它主机。
【操作步骤】
（1）使用ifconfig命令查看虚拟机的IP，
192.168.170.133
（2）执行以下命令，修改hosts文件：

vi /etc/hosts

在hosts文件中加入以下内容：

192.168.170.133       ubuntu01

（4）配置完后，使用ping命令检查是否配置成功，如下：

ping ubuntu01

（5）最后，配置一下本地Windows系统的主机IP映射，方便本地通过主机名直接访问虚拟机。进入Windows操作系统的目录C:\Windows\System32\drivers\etc编辑hosts文件，加入以下内容：

192.168.170.133 ubuntu01

5.Hadoop 2.x伪分布式集群搭建

本章讲解在一个节点上搭建Hadoop 2.x集群的方法。
5.1 配置节点SSH无密钥登录
【操作目的】
Hadoop的进程间通信使用SSH（Secure Shell）方式。SSH是一种通信加密协议，使用非对称加密方式，可以避免网络窃听。为了使Hadoop各节点之间能够无密码相互访问，需要配置各节点的SSH无秘钥登录。
【登录原理】
SSH无密钥登录的原理如下图：
在这里插入图片描述

ssh-copy-id命令可以把本地主机的公钥复制并追加到远程主机的authorized_keys文件中，ssh-copy-id命令也会给远程主机的用户主目录（home）和~/.ssh, 和~/.ssh/authorized_keys设置合适的权限。
（1）在节点中执行以下命令，生成秘钥文件：

cd ~/.ssh/                     # 若没有该目录，请先执行一次ssh ubuntu01（主机名）
ssh-keygen -t rsa              # 生成秘钥文件，会有提示，都按回车就可以

（2）在节点中执行以下命令，将公钥信息拷贝并追加到对方节点的授权文件authorized_keys中：

ssh-copy-id ubuntu01

5.2 搭建Hadoop集群
【操作目的】
本例的搭建思路是，在节点centos01中安装Hadoop并修改配置文件，然后将配置好的Hadoop安装文件远程拷贝到集群中其它节点。
【操作步骤】
Hadoop集群搭建的操作步骤如下：
1.上传Hadoop并解压
在centos01节点中，将Hadoop安装文件hadoop-2.8.2.tar.gz上传到/opt/softwares/目录，进入该目录，解压hadoop到/opt/modules/，命令如下：

cd /opt/softwares/
tar -zxf hadoop-2.8.2.tar.gz -C /opt/modules/

2.配置Hadoop环境变量
Hadoop所有的配置文件都存在于安装目录下的/opt/modules/Hadoop-2.8.2/etc/hadoop中，修改如下配置文件：

hadoop-env.sh
mapred-env.sh
yarn-env.sh

三个文件分别加入JAVA_HOME环境变量，如下：

export JAVA_HOME=/opt/modules/jdk1.8.0_144

3.配置HDFS
（1）修改配置文件core-site.xml，加入以下内容：

<configuration>
   <property>
	 <name>fs.defaultFS</name>
	 <value>hdfs://ubuntu01:9000</value>
   </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/opt/modules/hadoop-2.8.2/tmp</value>
     </property>
</configuration>

参数解析：
fs.defaultFS：HDFS的默认访问路径。
hadoop.tmp.dir：Hadoop临时文件的存放目录，可自定义。
（2）修改配置文件hdfs-site.xml，加入以下内容：

<configuration>
   <property>
	  <name>dfs.replication</name>
	  <value>1</value>
	</property>
    <property><!--不检查用户权限-->
	  <name>dfs.permissions.enabled</name>
	  <value>false</value>
	</property>
	<property>
	  <name>dfs.namenode.name.dir</name>
	  <value>file:/opt/modules/hadoop-2.8.2/tmp/dfs/name</value>
	</property>
	<property>
	  <name>dfs.datanode.data.dir</name>
	  <value>file:/opt/modules/hadoop-2.8.2/tmp/dfs/data</value>
	</property>
</configuration>

参数解析：
dfs.replication：文件在HDFS系统中的副本数。
dfs.namenode.name.dir：HDFS名称节点数据在本地文件系统的存放位置。
dfs.datanode.data.dir：HDFS数据节点数据在本地文件系统的存放位置。
（3）修改slaves文件，配置DataNode节点。slaves文件原本无任何内容，需要将所有DataNode节点的主机名都添加进去，每个主机名占一整行。本例中，DataNode为一个节点：

ubuntu01

4.配置YARN
（1）重命名mapred-site.xml.template文件为mapred-site.xml，修改mapred-site.xml文件，添加以下内容，指定以yarn集群方式运行。

<configuration>  
    <property>  
       <name>mapreduce.framework.name</name>  
       <value>yarn</value> 
    </property> 
</configuration>

（2）修改yarn-site.xml文件，添加以下内容：

<configuration>  
    <property>  
       <name>yarn.nodemanager.aux-services</name>  
       <value>mapreduce_shuffle</value>  
</property>    
<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>ubuntu01</value>
</property>
</configuration>

参数解析：
yarn.nodemanager.aux-services ：NodeManager上运行的附属服务。需配置成mapreduce_shuffle才可运行MapReduce程序。
5.配置Hadoop系统变量
为了能在任何目录下执行Hadoop命令，可以配置Hadoop系统变量。
修改文件/etc/profile，添加以下内容：

export HADOOP_HOME=/opt/modules/hadoop-2.8.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

6.启动Hadoop

启动Hadoop之前，需要先格式化NameNode。格式化NameNode可以初始化HDFS文件系统的一些目录和文件，在centos01节点上执行以下命令，进行格式化操作（只格式化一次）：

hadoop namenode -format

格式化成功后，在centos01节点上执行以下命令，启动Hadoop集群：

start-all.sh

也可以执行start-dfs.sh和start-yarn.sh分别启动HDFS和YARN集群。

7.查看各节点启动进程

集群启动成功后，分别在各个节点上执行jps命令，查看启动的Java进程。可以看到，各节点的Java进程如下：
ubuntu01节点的进程：

[hadoop@centos01 hadoop-2.8.2]$ jps
13524 SecondaryNameNode
13813 NodeManager
13351 DataNode
13208 NameNode
13688 ResourceManager
14091 Jps

8.测试HDFS
在centos01节点的HDFS根目录创建文件夹input，并将Hadoop安装目录下的文件README.txt上传到新建的input文件夹中。命令如下：

hdfs dfs -mkdir /input
hdfs dfs -put /opt/modules/hadoop-2.8.2/README.txt /input

访问网址：http://192.168.170.133:50070 可以查看HDFS的NameNode信息，界面如下：
在这里插入图片描述

9.测试MapReduce

在centos01节点中，进入Hadoop安装目录，执行以下命令，运行Hadoop自带的MapReduce单词计数程序，统计/input文件夹中的所有文件的单词数量：

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.2.jar /input /output

统计完成后，执行以下命令，查看MapReduce执行结果：

hdfs dfs -cat /output/*

如果以上测试没有问题，则Hadoop集群搭建成功。

就躺了吧

关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
打赏
0
评论
新建虚拟机+hadoop环境搭建

1.新建虚拟机在VMware中新建虚拟机的步骤如下：在VMware中，单击菜单栏的【文件】，然后选择【新建虚拟机】，在弹出的新建虚拟机向导窗口中，选择【典型】，然后单击【下一步】。如下图所示。在新弹出的窗口中选择【稍后安装操作系统】，然后单击【下一步】。如下图所示。在新窗口的【客户机操作系统】选项中选择【Linux(L)】，然后下拉框内选择【Ubuntu 64 位】，然后单击【下一步】。如下图所示。在新窗口中，【虚拟机名称】默认为“CentOS 64位”，也可以改成自己的名称，此处改为“cen
复制链接

扫一扫