Hadoop 运行环境搭建（从安装及克隆虚拟机开始......）

于 2021-10-01 22:08:15 发布
阅读量1.1k 收藏 10
点赞数 2
分类专栏： 安装部署使用教程 文章标签： hadoop linux big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zeroheitao/article/details/120578763
版权

文章目录

一、CentOS7 软硬件安装及配置

安装可以参考：VMware15 与 CentOS7 的安装及配置（部分配置参考下面）

部分配置参考：
这里配置需要看一下自己电脑的内核情况：任务管理器 -> 性能 -> 打开资源监视器 -> CPU
在这里插入图片描述
我的电脑现在是有8个CPU
在这里插入图片描述
由于之后学习过程中打算克隆三台虚拟机，再加上本机，就是四台，8个CPU，每台2个，每个处理器数量是2，所以每个处理器的内核数量为1（根据自己电脑的情况配置）
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
手动分区情况：
在这里插入图片描述

配置IP及主机名

配置VM的IP地址：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
配置Win10的IP：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
配置hadoop的IP：
在这里插入图片描述
在这里插入图片描述
修改主机名称：
在这里插入图片描述
在这里插入图片描述
配置Linux克隆机主机名称映射hosts文件：
在这里插入图片描述
为了后期学习需要多配置了几个
在这里插入图片描述
重启虚拟机
在这里插入图片描述
检查配置是否成功：
在这里插入图片描述

二、Xshell远程连接Linux

可以参考之前的博客：https://blog.csdn.net/zeroheitao/article/details/113943734

Xshell 下载官网：https://www.netsarang.com/zh/xshell/（一定要用最新版，以前的用不了了）
Xftp下载官网：https://www.netsarang.com/zh/xftp/（用于Win10和Linux之间的文件传输）
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
成功登录
在这里插入图片描述
修改windows的主机映射文件（hosts文件）
进入C:\Windows\System32\drivers\etc路径，拷贝hosts文件到桌面，打开桌面hosts文件并添加如下内容
在这里插入图片描述
将桌面hosts文件覆盖C:\Windows\System32\drivers\etc路径hosts文件

三、模板虚拟机环境准备

安装epel-release

[root@hadoop100 ~]# yum install -y epel-release

注：Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包，适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库，大多数rpm包在官方 repository 中是找不到的）

在这里插入图片描述
在这里插入图片描述

注意：如果Linux安装的是最小系统版，还需要安装如下工具；如果安装的是Linux桌面标准版，不需要执行如下操作
1、net-tool：工具包集合，包含ifconfig等命令
[root@hadoop100 ~]# yum install -y net-tools
2、vim：编辑器
[root@hadoop100 ~]# yum install -y vim

关闭防火墙，关闭防火墙开机自启

[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld.service

在企业开发时，通常单个服务器的防火墙时关闭的。公司整体对外会设置非常安全的防火墙

在这里插入图片描述
卸载虚拟机自带的JDK

[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

rpm -qa：查询所安装的所有rpm软件包
grep -i：忽略大小写
xargs -n1：表示每次只传递一个参数
rpm -e –nodeps：强制卸载软件

因为我安装的是自带桌面的，系统会自带jdk，如果你的虚拟机是最小化安装不需要执行这一步。
在这里插入图片描述

重启虚拟机

[root@hadoop100 ~]# reboot

四、克隆虚拟机

克隆虚拟机前一定要关机！！！
在这里插入图片描述
在这里插入图片描述
叫什么名字 放哪里看你自己了
在这里插入图片描述
在这里插入图片描述
修改克隆机IP，以下以hadoop102举例说明
修改克隆虚拟机的静态IP

[root@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

在这里插入图片描述
在这里插入图片描述
修改克隆虚拟机的名称

[root@hadoop100 ~]# vim /etc/hostname

在这里插入图片描述
在这里插入图片描述
重启虚拟机
在这里插入图片描述

五、先在一台虚拟机上安装配置 JDK 和 Hadoop

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

安装配置 JDK

解压JDK到/opt/module目录下:

[root@hadoop102 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

在这里插入图片描述
配置JDK环境变量：
（1）新建/etc/profile.d/my_env.sh文件

[root@hadoop102 ~]$ sudo vim /etc/profile.d/my_env.sh

添加如下内容

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

（2）source一下/etc/profile文件，让新的环境变量PATH生效

[root@hadoop102 ~]$ source /etc/profile

测试JDK是否安装成功

[root@hadoop102 ~]$ java -version

如果能看到以下结果，则代表Java安装成功。
在这里插入图片描述

安装配置 Hadoop

进入到Hadoop安装包路径下

[root@hadoop102 ~]$ cd /opt/software/

解压安装文件到/opt/module下面

[root@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

查看是否解压成功

[root@hadoop102 software]$ ls /opt/module/
hadoop-3.1.3

将Hadoop添加到环境变量
（1）获取Hadoop安装路径

[root@hadoop102 hadoop-3.1.3]$ pwd
/opt/module/hadoop-3.1.3

（2）打开/etc/profile.d/my_env.sh文件

[root@hadoop102 hadoop-3.1.3]$ sudo vim /etc/profile.d/my_env.sh

在my_env.sh文件末尾添加如下内容：（shift+g）

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

在这里插入图片描述
（3）让修改后的文件生效

[root@hadoop102 hadoop-3.1.3]$ source /etc/profile

测试是否安装成功

[root@hadoop102 hadoop-3.1.3]$ hadoop version

在这里插入图片描述

六、拷贝 JDK 和 Hadoop 到其他虚拟机

前提：在hadoop102、hadoop103、hadoop104都已经创建好的/opt/module、 /opt/software两个目录，并且已经把这两个目录的所有者修改为gyl:gyl（gyl是用户名，自己取的）[root@hadoop102 ~]$ chown gyl:gyl -R /opt/module
在这里插入图片描述

在hadoop102上，将hadoop102中/opt/module/jdk1.8.0_212目录拷贝到hadoop103上

[root@hadoop102 ~]# scp -r /opt/module/jdk1.8.0_212  gyl@hadoop103:/opt/module

在这里插入图片描述

快慢看电脑配置吧 佛了已经… …

在这里插入图片描述
成功拷贝
在这里插入图片描述
在hadoop103上，将hadoop102中/opt/module/hadoop-3.1.3目录拷贝到hadoop103上

[root@hadoop103 module]# scp -r gyl@hadoop102:/opt/module/hadoop-3.1.3 ./

在这里插入图片描述
在这里插入图片描述

可以写一个集群分发脚本，就不用这样一个个发了，有时间再补一篇集群分发脚本的文章，这篇文章已经好长了… …

七、集群配置

集群部署规划
在这里插入图片描述

注意：
NameNode和SecondaryNameNode不要安装在同一台服务器，都很耗内存
ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。

配置文件说明
Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。
（1）默认配置文件：
在这里插入图片描述
（2）自定义配置文件：
core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个配置文件存放在$HADOOP_HOME/etc/hadoop这个路径上，用户可以根据项目需求重新进行修改配置。
在这里插入图片描述
配置集群
先在Hadoop102上配置好

（1）核心配置文件
配置core-site.xml

[gyl@hadoop102 hadoop]$ vim core-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
    </property>

    <!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>

    <!-- 配置HDFS网页登录使用的静态用户为gyl -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>gyl</value>
    </property>
</configuration>

在这里插入图片描述
（2）HDFS配置文件
配置hdfs-site.xml

[gyl@hadoop102 hadoop]$ vim hdfs-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- nn web端访问地址-->
	<property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop102:9870</value>
    </property>
	<!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:9868</value>
    </property>
</configuration>

在这里插入图片描述
（3）YARN配置文件
配置yarn-site.xml

[gyl@hadoop102 hadoop]$ vim yarn-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>

    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

在这里插入图片描述
（4）MapReduce配置文件
配置mapred-site.xml

[gyl@hadoop102 hadoop]$ vim mapred-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

在这里插入图片描述
在这里插入图片描述
在集群上分发配置好的Hadoop配置文件

这里我是有写一个集群分发脚本的，所以可以直接运行 xsync，用前面那个 scp 命令也可以，就是比较慢，脚本后面再补吧… …
用 scp ：
在这里插入图片描述

直接用脚本分发
在这里插入图片描述
在这里插入图片描述

如果一直报权限问题，可以去检查一下/opt/module/hadoop-3.1.3/etc/hadoop文件夹下的文件所属用户及组是不是自己，例如
在这里插入图片描述

分发后可以去 103 104 上面查看一下是否成功

八、群起集群

1）配置workers

[gyl@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

在该文件中增加如下内容：

hadoop102
hadoop103
hadoop104

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

在这里插入图片描述
同步所有节点配置文件

[gyl@hadoop102 hadoop]$ xsync workers

在这里插入图片描述
2）启动集群
（1）如果集群是第一次启动，需要在hadoop102节点格式化NameNode

[gyl@hadoop102 hadoop-3.1.3]$ hdfs namenode -format

在这里插入图片描述

注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。

格式化成功后会出现 datas 和 logs 目录
在这里插入图片描述
（2）启动HDFS

[gyl@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

快慢看自己电脑吧，日常佛系… …

在这里插入图片描述
（3）在配置了ResourceManager的节点（hadoop103）启动YARN

[gyl@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

（4）Web端查看HDFS的NameNode

  • 浏览器中输入：http://hadoop102:9870
  • 查看HDFS上存储的数据信息
    在这里插入图片描述

（5）Web端查看HDFS的NameNode

  • 浏览器中输入：http://hadoop102:9870
  • 查看HDFS上存储的数据信息

3）集群基本测试
（1）上传文件到集群

  • 上传小文件
[gyl@hadoop102 ~]$ hadoop fs -mkdir /input
[gyl@hadoop102 ~]$ hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input
  • 上传大文件
[gyl@hadoop102 ~]$ hadoop fs -put  /opt/software/jdk-8u212-linux-x64.tar.gz  /

（2）上传文件后查看文件存放在什么位置

  • 查看HDFS文件存储路径
[gyl@hadoop102 subdir0]$ pwd
  • 查看HDFS在磁盘存储文件内容
[gyl@hadoop102 subdir0]$ cat blk_1073741825

九、配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：
1）配置mapred-site.xml

[gyl@hadoop102 hadoop]$ vim mapred-site.xml

在该文件里面增加如下配置

<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop102:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
</property>

2）分发配置

[gyl@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

3）在hadoop102启动历史服务器

[gyl@hadoop102 hadoop]$ mapred --daemon start historyserver

4）查看历史服务器是否启动

[gyl@hadoop102 hadoop]$ jps

5）查看JobHistory
http://hadoop102:19888/jobhistory

十、配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。
在这里插入图片描述
日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。
注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryServer。

开启日志聚集功能具体步骤如下：
1）配置yarn-site.xml

[gyl@hadoop102 hadoop]$ vim yarn-site.xml

在该文件里面增加如下配置

<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

2）分发配置

[gyl@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

3）关闭NodeManager 、ResourceManager和HistoryServer

[gyl@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh
[gyl@hadoop103 hadoop-3.1.3]$ mapred --daemon stop historyserver

4）启动NodeManager 、ResourceManage和HistoryServer

[gyl@hadoop103 ~]$ start-yarn.sh
[gyl@hadoop102 ~]$ mapred --daemon start historyserver

5）删除HDFS上已经存在的输出文件

[gyl@hadoop102 ~]$ hadoop fs -rm -r /output

6）执行WordCount程序

[gyl@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

7）查看日志
历史服务器地址：http://hadoop102:19888/jobhistory

十一、集群启动/停止方式总结

1）各个模块分开启动/停止（配置ssh是前提）常用
（1）整体启动/停止HDFS

start-dfs.sh/stop-dfs.sh

（2）整体启动/停止YARN

start-yarn.sh/stop-yarn.sh

2）各个服务组件逐一启动/停止
（1）分别启动/停止HDFS组件

hdfs --daemon start/stop namenode/datanode/secondarynamenode

（2）启动/停止YARN

yarn --daemon start/stop  resourcemanager/nodemanager
玳宸
关注
专栏目录
hadoop开发环境搭建
tonytfjing的专栏
03-04 3322
很早就听说hadoop，但项目中一直没怎么接触，今天终于下定决心，花了一天的时间，搭起了基本的开发环境，总结如下。 一.软件准备 jdk、hadoop软件包、eclipse软件包（linux版） 二.安装java 详见http://blog.csdn.net/tonytfjing/article/details/42167599 三.安装hadoop（单机伪分布式） 3
Hadoop运行环境搭建
weixin_42042774的博客
03-29 3829
分区： /boot引导用区-->1G；； swap交换区-->2G；标准分区； /根目录-->剩下的全部；标准分区；ext4 vi /etc/hostname 改hostname vi /etc/syscomfig/network-scripts/ifcfg-ens33 重启网络服务，查看网络是否改成功 systemctl restart network//重新启动 ip addr//查看ip ...
Hadoop 系列（四）—— Hadoop 开发环境搭建
weixin_30872337的博客
08-07 259
一、前置条件 Hadoop 的运行依赖 JDK，需要预先安装，安装步骤见： Linux 下 JDK 的安装 二、配置免密登录 Hadoop 组件之间需要基于 SSH 进行通讯。 2.1 配置映射 配置 ip 地址和主机名映射： vim /etc/hosts # 文件末尾增加 192.168.43.202 hadoop001 2.2 生成公私钥 执行下面命令行生成公匙和私匙： ss...
hadoop 开发环境搭建
cschengvdn3的专栏
09-05 440
1. 搭建linux hadoop 3.   java.lang.OutOfMemoryError: Java heap space 问题
Linux系统安装及多节点安装（克隆虚拟机）.pdf
04-12
### Linux系统安装及多节点安装（克隆虚拟机） #### 一、系统安装 ##### 1. VMware的安装与配置 - **安装VMware**：首先需要安装VMware虚拟机软件，安装过程中需要输入序列号，例如：1F04Z-6D111-7Z029-AV0Q4-3...
Hadoop云计算平台搭建方案.docx
最新发布
10-30
【Hadoop云计算平台搭建方案】 在电力企业等大型组织中，大数据处理已成为不可或缺的一部分。Hadoop作为开源的分布式计算框架，被广泛应用于海量数据的存储和分析。本方案旨在搭建一个基于Hadoop的云计算平台，以...
Hadoop云计算平台搭建方案.pdf
10-30
每台虚拟机上将安装Linux操作系统，这里选择的是Ubuntu，以提供稳定且兼容的运行环境。为了简化配置，可以克隆Master节点来创建Slave节点，减少了重复工作。 在Linux系统上，需要安装JDK（Java Development Kit），...
Hadoop环境搭建实验指导手册.zip
10-09
总的来说，这个Hadoop环境搭建实验指导手册覆盖了从零开始构建Hadoop集群的全部流程，适合初学者和有经验的开发者参考。每个步骤都设计得详尽且易于理解，通过实践这些步骤，你不仅可以掌握Hadoop的部署，还能深入...
Hadoop开发环境搭建
04-09
Hadoop开发环境搭建所需文件（hadoop-eclipse-plugin-2.2.0.jar、winutils.exe）
搭建 Hadoop 开发环境
azhi117的博客
03-09 207
Centos7 操作系统 1.1. 创建用户及权限 添加用户名：adduser hadoop 添加密码：passwd hadoop 赋予管理员权限：usermod -aG wheel hadoop 切换用户：su - hadoop 确认成功：sudo ls –la /root 1.2. ssh 免密登陆 集群、单节点模式都需要用到 SSH 登陆（类似于远程登陆，你可以登录某台 Linux 主机...
Hadoop开发环境搭建教程：从虚拟机配置到JDK安装
**第3章 Hadoop运行环境搭建** **3.1 虚拟机环境准备** 1. **克隆虚拟机** - 使用VMware软件创建一个新的虚拟机，通过“右键->管理->克隆”功能，选择完整克隆以快速获得一个与原机相似的环境。 2. **设置NTP...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

玳宸

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值