打怪升级之小白的大数据之旅(四十二)＜Hadoop运行环境搭建＞

最新推荐文章于 2024-09-29 16:20:54 发布
最新推荐文章于 2024-09-29 16:20:54 发布
阅读量206 收藏
点赞数
文章标签： 大数据 hadoop linux java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Li_G_yuan/article/details/116615324
版权

打怪升级之小白的大数据之旅(四十二)

Hadoop运行环境搭建

上次回顾

上一章，我们学习了大数据的相关概念以及Hadoop的基础介绍，本章节主要介绍Hadoop的环境搭建；配置的点比较多，当下一章Hadoop集群配置结束后，我专门将可能出错的地方做个总结，方便大家配合使用

Hadoop运行环境搭建

  • 环境搭建前，我先列一个Hadoop的整体大纲，方便大家进行理解哈，本章节主要是对Hadoop运行环境搭建进行分享，下一章对Hadoop运行模式搭建进行分享，它们的区别就是，运行环境搭建只是一台的服务器，而下一章是对整个集群进行搭建
  • 另外注意一下，在本章结束后，小伙伴可能会问，三台服务器为什么现在就克隆，为什么不等到整个运行环境搭建完成再克隆？这是为了后面集群的分发做铺垫的哈，所以跟着我的步骤操作就好了

环境搭建步骤

  • 配置虚拟环境
    • 克隆虚拟机
    • 修改静态IP
    • 安装必要插件
    • 修改hostname
    • 修改hosts
    • 关闭防火墙
    • 创建Hadoop的统一用户
    • 在opt/目录下创建专门存放jdk与hadoop的目录
  • 安装JDK与Hadoop
    • 安装jdk
    • 配置jdk的环境变量
    • 安装hadoop
    • 配置hadoop的环境变量

Hadoop运行模式搭建

  • 本地运行模式测试
  • 完全分布式运行模式搭建
    • 虚拟机准备
    • 集群分发脚本
    • SSH无密登录
    • 集群配置
    • 群起集群配置
    • 集群的启动与停止
    • 配置历史服务器
    • 配置集群的时间同步

我来总结一下哈，hadoop运行环境搭建总体就两步，第一步是虚拟环境的搭建，第二步就是安装jdk与hadoop，每一步里面都有一些小的配置，知道了整体的步骤后，接下来让我们正式开始

配置虚拟环境

首先我们需要准备三台虚拟机，在介绍Linux时我有说过，让大家提前建立一台无界面的CentOS虚拟机，现在派上用场了，忘了的详见Linux基础知识CentOS安装第十五步，另外，建议单台虚拟机的配置为：内存4G，硬盘50G，安装CentOS7无界面操作系统

第一步：
创建好虚拟机后，接下来我们进行克隆->完整克隆，然后保存在我前面提到的专用虚拟机文件夹中,建议大家跟我配置一样哈，虚拟机名称分别为hadoop102,hadoop103,hadoop104
在这里插入图片描述

第二步：修改静态IP，这块详见我们在Linux基础中学习到的网络配置，我就直接上虚拟机的配置了，注意啦，我们刚开始的虚拟机是没有vim的,我先对hdaoop102虚拟机进行配置

  1. 打开hadoop102虚拟机并进入ip的配置文件
  2. 查看Linux虚拟机的虚拟网络编辑器，编辑->虚拟网络编辑器->VMnet8
  3. 查看Windows系统适配器VMware Network Adapter VMnet8的IP地址
  4. 保证Linux文件中IP地址、Linux虚拟网络编辑器地址和Windows系统VM8网络IP地址相同
# 打开hadoop102虚拟机并进入ip的配置文件
vi /etc/sysconfig/network-scripts/ifcfg-ens33
# 修改hadoop102的ip
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.1.102
GATEWAY=192.168.1.2
DNS1=114.114.114.114

第三步：安装必要插件，因为我上一步说了，此时是纯净版的系统，因此我们需要安装必要的插件，直接复制下面的命令就好

yum install -y epel-release
yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git

第四步：修改主机名

vim /etc/hostname
# 将里面的localhost这一行删除掉，然后根据我们虚拟机的名称进行配置
hadoop102

第五步：修改hosts文件,我们前面在网络配置时也讲过哈,它是主机名称的映射，等集群的时候就知道为什么要配置它了

# 进入主机名称映射的配置文件
sudo vim /etc/hosts
# 修改内容如下
192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108

第六步：修改windows中的hosts文件，当然了，除了我们的虚拟机，我们还要在Windows中配置，我们后面的hadoop都是使用xshell进行连接的

1.进入C:\Windows\System32\drivers\etc路径
2.打开hosts文件并添加如下内容
192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108
3. 如果发现我们无法修改保存，那就把整个hosts拖到复制或移动到桌面上再进行修改保存，然后再放回到原位即可

第七步：关闭防火墙，这一步是为了后面集群用的，集群就是很多的服务器，服务器之间要相互连接，所以我们不需要防火墙

# 关闭防火墙
systemctl stop firewalld
# 禁止防火墙开机启动
systemctl disable firewalld

第八步：创建hadoop集群共同的用户，这里的用户是我们以后操作的用户，不论后面什么操作都是它，以后就不会再用root了，因为它是超级管理员，如果误操作不太好…

# 创建用户
useradd hadoopuser
passwd 123456

第九步：配置hadoopuser用户具有root权限，这个知识点在Linux常用命令的用户管理中讲过哈,在91行下面，行号使用vim的:set nu

# 打开用户权限文件 
visudo
# 添加hadoopuser拥有root所有权限
root    ALL=(ALL)     ALL
hadoopuser ALL=(ALL)    NOPASSWD:ALL

第十步：在/opt下创建文件夹,用于存放安装jdk与hadoop，记得修改用户的所属主与所属组，因为我们以后的操作都是使用我们刚刚建立的那个用户,module用户安装jdk和Hadoop，software用于存放安装包

# 进入/opt文件夹下
cd /opt
# 创建文件
mkdir module
mkdir software
# 修改权限的所属主与所属组
chown hadoopuser:hadoopuser /opt/module /opt/software

最后一步：好了，我们将基础的虚拟环境配置好了，接下来重启一下我们的虚拟机，让前面的配置生效

reboot

安装JDK与Hadoop

第一步：下载jdk与hadoop的安装包

  • 前面的虚拟环境配置完毕之后，我们开始进行jdk与Hadoop的安装
  • 因为Hadoop是用Java写的，所以我们需要安装java的jdk，这也是我们为什么开篇就学习java的原因
  • jdk与hadoop的安装包可以私信我，也可以自行去官网下载，一定记得下载编译好的软件包，java的选择
    在这里插入图片描述
  • hadoop的选择,Binary的编译好的
    在这里插入图片描述
    jdk的下载地址：https://www.java.com/zh-CN/download/manual.jsp
jdklinux的下载地址： https://javadl.oracle.com/webapps/download/AutoDL?BundleId=244575_d7fc238d0cbf4b0dac67be84580cfb4b
hadoop下载地址:https://hadoop.apache.org/releases.html

第二步：安装jdk与hadoop,我们下载的是编译好的，直接是无安装版，直接使用tar进行解压即可

  • 首先我们使用xftp将安装包放到我们前面建立的/opt下的software文件夹中
    在这里插入图片描述
  • 接下来使用tar命令将jdk解压到module中，记得先解压jdk，然后再解压hadoop
tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

第三步：配置jJDK的环境变量，这里就和Windows中设置系统环境变量一样的，我们也在Linux中设置JDK的环境变量

  • 首先我们要进入我们的环境变量配置文件夹下，然后自定义一个配置文件脚本，这样我们以后就可以很方便地管理我们自定义安装的软件了
    # 进入环境变量配置文件夹
cd /etc/profile.d
# 新建一个环境变量配置文件
vim my_env.sh
# 配置JDK的环境变量为全局变量
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

第四步：保存退出后重新加载一下配置的文件,然后测试jdk是否安装成功

# 方法一，使用source进行重新加载配置
source my_env.sh
# 方法二，重启虚拟机，让系统自己重新加载配置
reboot

# 测试java命令是否成功的设置成全局环境变量
java -version

第五步：安装Hadoop，步骤和安装jdk一样

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

第六步：配置Hadoop的环境变量为全局变量,再次进入我们设置jdk的那个脚本

# 进入环境变量配置文件夹
cd /etc/profile.d
# 新建一个环境变量配置文件
vim my_env.sh
# 配置JDK的环境变量为全局变量
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

第七步：保存退出并测试,这里重复第四步的动作

# 重新加载我们的脚本
source my_env.sh
# 测试是否成功
hadoop version

成功的运行结果
在这里插入图片描述

Hadoop的目录结构

到此我们的Hadoop就安装完成了，接下来我来介绍一下Hadoop的目录结构，cd到我们module下的hadoop文件夹下可以看到它们目录结构如下：
在这里插入图片描述
咳咳，我习惯性的对我的用户信息进行马赛克，个人习惯哈，这个不是什么重要的东西…

目录结构详解

我因为测试了一下是否安装成功，因此就多了data,logs input ouput这些文件夹下，后面我会介绍它们的，不用担心，现在忽略它们

  1. bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本
  2. etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
  3. lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
  4. sbin目录：存放启动或停止Hadoop相关服务的脚本
  5. share目录：存放Hadoop的依赖jar包、文档、和官方案例

总结

  • 本章对Hadoop的单机环境配置进行了分享，Hadoop最重要的就是集群，多个服务器，因此我专门把它们拆开来讲哈。今天内容就到这里，如果整个过程有问题，欢迎随时后台私信我,
  • 对了，配置虚拟环境的第二步到第五步，一定记得在hadoop103和hadoop104服务器上都改一下，我们下一章要用它们，还有第九步，我们在三个服务器上都要建立相同的账号和配合
GaryLea
关注
Hadoop 3.1.3 详细安装教程
great0220的博客
12-10 5151
Hadoop 3.1.3 详细安装教程Hadoop运行环境搭建虚拟机环境准备（三台虚拟机都要执行）配置集群（三台虚拟机都要执行） Hadoop运行环境搭建 虚拟机环境准备（三台虚拟机都要执行） 1.准备三台虚拟机，虚拟机配置要求如下： （1）单台虚拟机：内存4G，硬盘50G，安装必要环境 sudo yum install -y epel-release sudo yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-st
2020-09-03
qq_40748710的博客
09-04 433
绪论 1.Hadoop组成 Hadoop组成 hadoop1.0组成MapReduce+HDFS+Common Hadoop3.0组成MapReduce+Yarn+HDFS+Common 1.1HDFS架构概述 NameNode:存储文件的元数据，文件名、目录、以及属性等。以下简称（NN） 在集群中nn只有一个节点，所以nn是很重要的。如果nn的丢失会造成数据的无法找到指定的 文件。 DataNode：在本地文件系统的存储位置，在集群的每台服务器上都有，备份数据。每台服务器上存储...
打怪升级之小白的大数据之旅(四十三)＜Hadoop运行模式(集群搭建)＞
不断努力的数据汪
05-13 424
打怪升级之小白的大数据之旅(四十三) Hadoop运行模式(集群搭建) 上次回顾 上一章对单个Hadoop服务器环境搭建进行分享，本章对Hadoop集群的搭建以及运行进行分享，集群是Hadoop的核心，所以本章节很重要!很重要!很重要!OK，让我们开始 Hadoop的运行模式&集群的概述 Hadoop运行模式概述 Hadoop的运行模式分为本地模式、伪分布式模式和完全分布式模式三种，伪分布式没什么意思，我们也几乎用不到，我就不介绍了，我们的核心是完全分布模式，它就是我们Hadoop的集群 集群的
打怪升级之小白的大数据之旅(四十四)＜Hadoop搭建过程中的一些问题＞
不断努力的数据汪
05-13 277
打怪升级之小白的大数据之旅(四十四) Hadoop搭建过程中的一些问题 上次回顾 我用了两章对Hadoop的搭建进行讲解，大家搭建前，先看我开篇的步骤讲解，然后再根据步骤进行搭建，本章就对一些常见问题进行分享，大家也有问题；欢迎后台留言，让我可以扩充这一章节 防火墙没关闭、或者没有启动YARN 如果我们在前面没有关闭防火墙或者没有在hadoop103服务器上启动YARN,那么就会出现下面错误 INFO client.RMProxy: Connecting to ResourceManager at hado
打怪升级之小白的大数据之旅(四十一)＜大数据与Hadoop概述＞
不断努力的数据汪
05-11 360
打怪升级之小白的大数据之旅(四十) Hadoop概述 上次回顾 好了，经过了java，mysql,jdbc,maven以及Linux和Shell的洗礼，我们终于开始正式进入大数据阶段的知识了，首先我会为大家带来Hadoop相关的知识点，Hadoop是大数据框架中最最基础的一个，也是最好入门的一个，OK，让我们正式开始心心念念的大数据旅程吧~ 大数据概述 Hadoop概述 Hadoop的运行环境搭建 总结 ...
打怪升级之小白的大数据之旅(四十)＜Shell编程＞
不断努力的数据汪
05-10 488
打怪升级之小白的大数据之旅(四十) Shell编程 上次回顾 上一章对Linux的常用命令进行了总结分享，命令比较多，VIM是必须要首先熟练的，其次就是按照优先级去练习，本章节对Shell编程进行分享，当然了，我只将后面大数据中可能用到的知识点进行分享，Shell编程真的展开来讲，至少得半个月到一个月。。。我们不是运维，不要纠结，只需要关系我在博客里提到过的知识点哈 Shell概述 Shell就是一个命令行解释器，就如同我们在Windows中的cmd一样，它用于接收应用程序或者用户的命令，然后再调用操作系
打怪升级之小白的大数据之旅(五十三)＜Hadoop最后一个模块--Yarn＞
不断努力的数据汪
05-21 444
打怪升级之小白的大数据之旅(五十三) Hadoop最后一个模块–Yarn 上次回顾 上一章，我们学完了整个MapReduce的知识点，至此，Hadoop的三大模块就剩下最后一个模块–Yarn了 Yarn Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，MapReduce等运算程序相当于运行于操作系统之上的应用程序 Yarn就类似我们的Windows系统，我们的MapReduce就像我们的软件，它是运行在Yarn上的，了解清楚这个之后，我们再回想一下Hadoop集
打怪升级之小白的大数据之旅(四十五)＜认识HDFS与常用操作＞
不断努力的数据汪
05-14 628
打怪升级之小白的大数据之旅(四十五) Hadoop的HDFS 上次回顾 上一章常见异常就不说了，我就大概说一下整个Hadoop的搭建吧，首先我们先对单台服务器进行配置 第一步：我们需要创建一台最小软件的CentOS系统，并进行一些基本配置，例如IP设置，创建用户,主机名与hosts文件设置等，然后进行服务器的克隆，我们安装Hadoop最小要求，准备三台服务器，然后重复前面的基本配置 需要下载一些常见的插件，如VIM以及安装一下JDK与Hadoop并设置好环境变量 第三步： 我们需要进行SSH无密登录的配置
打怪升级之小白的大数据之旅(四十六)＜HDFS各模块的原理＞
不断努力的数据汪
05-15 240
打怪升级之小白的大数据之旅(四十六) HDFS各模块的原理 上次回顾 总结
3_尚硅谷大数据之Hadoop运行环境搭建1
08-04
（2）修改 module、software 文件夹的所有者 （1）查询是否安装 java 软件： （2）如果安装的版本低于 1.7，卸载该 jdk： （1）先获
6-大数据技术之Hadoop运行环境搭建（重点）
12-15
6_大数据技术之Hadoop运行环境搭建（重点）
大数据+NameNode和DataNode工作机制+Hadoop的环境搭建学习
08-03
大数据Hadoop的环境搭建学习中需要明白什么是NameNode和DataNode，以及他们的创建和使用。只有安装和创建好NameNode和DataNode，并进行测试可以打开和运行，才完成了Hadoop的环境搭建基础的一个部分，除此之外，还有...
大数据技术基础实验报告-Linux环境下hadoop集群的搭建与基本配置.doc
08-21
【大数据技术基础实验报告-Linux环境下hadoop集群的搭建与基本配置】 实验主要涉及了大数据技术中的基础概念，包括Linux操作系统、Java环境、SSH服务、Hadoop集群的搭建与配置。以下是具体步骤和知识点的详细解释：...
大数据技术之Hadoop3.x-视频教程网盘链接提取码下载 .txt
03-04
Hadoop是大数据技术中最重要的框架之一，是学习大数据必备的第一课，在Hadoop平台之上，可以更容易地开发和运行其他处理大规模数据的框架。尚硅谷Hadoop视频教程再次重磅升级！以企业实际生产环境为背景，增加了更...
Kafka快速实战与基本原理详解
xajh_czbk的博客
09-29 487
消费消息：但是迟迟没有消费（因为kafka默认是从消费者启动之后开始消费，也就是说刚才发的那条消费不到，原因是那个时候消费者还没有启动。）我们现在启动了消费者了，可以尝试发消息了。另一种消费方式：指定从哪里消费。刚才第一次消费的时候没有消费test1，原因上面有写。这里的这个命令就可以消费到全部了,因为指定了从哪里消费。说白了，队列里的消息只能被同一个消费者组里面的一个消费者消费。关键他还可以重复消费。启动好了kafka之后，我们再去看ZK中的节点多了这些。创建一个主题并看一下：有了主题后就可以发消息了。
基于Hive和Hadoop的哔哩哔哩网站分析系统
图南的博客
09-27 682
本项目是一个基于大数据技术的哔哩哔哩平台分析系统，旨在为用户提供全面的哔哩哔哩视频数据和深入的用户行为分析。系统采用 Hadoop 平台进行大规模数据存储和处理，利用 MapReduce 进行数据分析和处理，通过 Sqoop 实现数据的导入导出，以 Spark 为核心进行高效的数据处理。整个系统结合了大数据处理技术，为用户提供精准的内容推荐和深入的用户兴趣分析，帮助平台更好地了解视频趋势和用户需求。
如何实现全行业证照一站式结构化识别？Textln企业资质证照识别上线！
b_qixin的博客
09-26 412
对于无Key的Value信息，例如下图中的证照名称“药品经营许可证”，模型也可基于强大的语义理解能力与所具备的专项领域知识，实现准确完整的关键信息抽取。，并理解信息间的对应关系，以“K-V对”的形式自动实现证照中全部关键信息的结构化抽取，提升信息数据的提取和录入效率。除抽取证照中的文本信息外，模型集成了印章检测能力，可以捕捉资质证照中的印章信息，并输出印章的类型、颜色、形状及内容。自动识别录入企业经营资质信息，可应用于机构开户、经营性贷款审批等金融服务场景，提升信息录入效率，控制业务风险。
【从0开始搭建微服务并进行部署】SpringBoot+dubbo+zookeeper
最新发布
高朗的博客
09-29 1141
从0开始搭建微服务并进行部署：Springboot+dubbo+zookeeper
大数据学习之路：从Java到Hadoop环境搭建
此外，文档还涵盖了大数据环境的搭建，从安装Linux系统到在VM虚拟机上部署Hadoop，包括独立模式、伪分布模式和全分布模式，并涉及到Hadoop的一键启动脚本制作和常用命令操作。" 在大数据领域，Java是一种基础且重要...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值