记一次 Centos7.x 安装部署 Hadoop 3.x HDFS基础环境（非高可用集群）

最新推荐文章于 2024-05-10 15:13:46 发布
置顶 最新推荐文章于 2024-05-10 15:13:46 发布
阅读量3.2k 收藏 9
点赞数 3
分类专栏： Hadoop Linux-Centos x.x 大数据 文章标签： hadoop 经验分享 centos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/llwy1428/article/details/111144524
版权

一、基础信息

官网  http://hadoop.apache.org/

快速入门  http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html

在线文档  http://tool.oschina.net/apidocs/apidoc?api=hadoop

易百教程  https://www.yiibai.com/hadoop/

W3Cschool教程 https://www.w3cschool.cn/hadoop/?

二、环境、工具说明

1、操作系统  CentOS-7-x86_64-Minimal-2003.iso

下载地址

https://vault.centos.org/

虚拟机安装过程参考：

https://blog.csdn.net/llwy1428/article/details/89328381

安装4台虚拟机

Master：1台  2G内存  1核CPU

Slave   ：3台  2G内存  1核CPU

2、JDK版本：jdk1.8

安装配置过程

https://blog.csdn.net/llwy1428/article/details/111144659

3、工具：xshell5

4、VMware 版本：VMware Workstation Pro15

5、Hadoop：3.3.0

下载地址

https://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz
https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz

三、基础环境配置

IP主机名内存CPU磁盘
192.168.11.21master2G2核50G
192.168.11.22slave12G2核50G
192.168.11.23slave22G2核50G
192.168.11.24slave32G2核50G

1、虚拟机安装（安装4台虚拟机）

参考 https://blog.csdn.net/llwy1428/article/details/89328381

2、每台虚拟机均接入互联网（4个节点均要配置好网卡）

网卡配置可参考：

https://blog.csdn.net/llwy1428/article/details/85058028

3、修改主机名（4个节点均要修改主机名）

编辑集群中的各个节点主机名（以第一个节点 master 为例，slave1、slave2、slave3 略）

[root@localhost ~]# hostnamectl set-hostname master

4、JDK8环境安装配置（4个节点均要搭建）

安装配置过程

https://blog.csdn.net/llwy1428/article/details/111144659

5、配置防火墙（4个节点均要操作）

关闭防火墙，并设置开机禁止启动

关闭防火墙    ： systemctl stop firewalld
查看状态      ： systemctl status firewalld
开机禁用      ： systemctl disable firewalld

6、配置静态IP

此处以 master 节点为例（其他节点 略）：

[root@master ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

说明：红框内为修改、增加的部分

可参考：https://blog.csdn.net/llwy1428/article/details/85058028

7、配置 hosts 文件

此处以 master 节点为例：

[root@master ~]# vim /etc/hosts

8、安装基本工具

[root@master ~]# yum install -y vim lrzsz ntp zip unzip wget zip unzip net-tools tree java-1.8.0-openjdk-devel

（根据自身的网络情况，可能需要等待几分钟）

9、配置节点间免密登录

具体步骤参照： 

https://blog.csdn.net/llwy1428/article/details/85911160

https://blog.csdn.net/llwy1428/article/details/85641999

10、集群各节点修改系统文件打开数

此处以 master 节点为例：

[root@master ~]# vim /etc/security/limits.conf

参考

https://blog.csdn.net/llwy1428/article/details/89389191

11、集群各节点配置时间同步

本文以阿里时间服务器为准，阿里云时间服务器地址：ntp6.aliyun.com

说明：如有专用时间服务器，请更改时间服务器的主机名或者IP地址，主机名需要在etc/hosts文件中做好映射。

以 master 节点为例：

设置系统时区为东八区（上海时区）

[root@master ~]# timedatectl set-timezone Asia/Shanghai

关闭ntpd服务

[root@master ~]# systemctl stop ntpd.service

设置ntpd服务禁止开机启动

[root@master ~]# systemctl disable ntpd

设置定时任务

[root@master ~]# crontab -e

写入以下内容（每10分钟同步一下阿里云时间服务器）：

0-59/10 * * * * /usr/sbin/ntpdate ntp6.aliyun.com

重启定时任务服务

[root@master ~]# /bin/systemctl restart crond.service

设置定时任务开机启动

[root@master ~]# /bin/systemctl enable crond.service

集群中其他各个节点同 master 节点。

参考  https://blog.csdn.net/llwy1428/article/details/89330330

12、集群各节点禁用SELinux

以 master 节点为例：

[root@master ~]# vim /etc/selinux/config

修改如下内容后，保存并退出    ：wq

集群中其他各个节点同 master 节点。

13、集群各节点禁用Transparent HugePages

参考  https://blog.csdn.net/llwy1428/article/details/89387744

14、配置系统环境为UTF8

以 master 节点为例：


[root@master ~]# echo "export LANG=zh_CN.UTF-8 " >> ~/.bashrc
[root@master ~]# source ~/.bashrc

集群中其他各个节点同 master 节点。

四、Hadoop HDFS 部署

1、在每个节点上创建目录（slave1、slave2、slave3 均创建）

[root@master ~]# mkdir -p /usr/bigdata

2、下载 hadoop 安装文件

[root@master bigdata]# wget https://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz

3、解压文件 

[root@master bigdata]# tar zxvf hadoop-3.3.0.tar.gz

4、查看目录

5、配置 HADOOP_HOME

[root@master ~]# vi /etc/profile
export HADOOP_HOME="/usr/bigdata/hadoop-3.3.0"
PATH=$PATH:$HADOOP_HOME/bin

6、使配置生效并查看

[root@master ~]# source /etc/profile
[root@master ~]# echo $HADOOP_HOME
/usr/bigdata/hadoop-3.3.0

7、修改 HDFS 的配置文件

[root@master ~]# vim /usr/bigdata/hadoop-3.3.0/etc/hadoop/hadoop-env.sh

修改配置

export JAVA_HOME=/usr/lib/jvm/java-1.8.0
export HADOOP_HOME=/usr/bigdata/hadoop-3.3.0

8、创建目录

[root@master ~]# mkdir /usr/bigdata/hadoop-3.3.0/tmp
[root@master ~]# mkdir /usr/bigdata/hadoop-3.3.0/logs

9、指定 HDFS 主节点

[root@master ~]# vim /usr/bigdata/hadoop-3.3.0/etc/hadoop/core-site.xml

编辑内容

<configuration>
        <!--说明：hadoop2.x端口默认9000；hadoop3.x端口默认9820-->
        <property>
                <name>dfs.defaultFS</name>
                <value>hdfs://master:9820</value>
        </property>
        <!--注意：临时目录自己创建下-->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/bigdata/hadoop-3.3.0/tmp</value>
        </property>
</configuration>

10、配置 hdfs-site.xml

[root@master ~]# vim /usr/bigdata/hadoop-3.3.0/etc/hadoop/hdfs-site.xml 
<configuration>
        <!--说明：不配置副本的情况下默认是3 -->
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
        <property>
            <!--设置 secondaryNameNode 为 master节点的虚拟机； hadoop2.x 端口为50090-->
            <name>dfs.namenode.secondary.http-address</name>
            <value>master:9821</value>
        </property>
        <!--关闭 hdfs 读取权限，即不检查权限-->
        <property>
            <name>dfs.permissions.enabled</name>
            <value>false</value>
        </property>
</configuration>

11、编辑 workers 文件

[root@master ~]# vim /usr/bigdata/hadoop-3.3.0/etc/hadoop/workers
slave1
slave2
slave3

12、修改启动脚本 start-dfs.sh

[root@master ~]# vim /usr/bigdata/hadoop-3.3.0/sbin/start-dfs.sh

在开始位置加入（因为我的环境是基于 root 用户搭建的开发、测试环境，如果不配置 HDFS 相关的 root 启动权限，HDFS会默认使用 hdfs 用户启动，在 root 用户下会启动失败，提示权限不足 ）

HDFS_DATANODE_USE=root
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
HDFS_DATANODE_SECURE_USER=root

13、修改停止脚本 stop-dfs.sh

[root@master ~]# vim /usr/bigdata/hadoop-3.3.0/sbin/stop-dfs.sh

在开始加入如下内容，原因同上

HDFS_DATANODE_USE=root
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
HDFS_DATANODE_SECURE_USER=root

14、修改脚本 hdfs

[root@master ~]# vim /usr/bigdata/hadoop-3.3.0/bin/hdfs

在最前面加上

HADOOP_SHELL_EXECNAME="root"

15、把 master 上配置好的 hadoop 文件发售到其它各个节点

[root@master ~]# scp -r /usr/bigdata/hadoop-3.3.0 root@slave1:/usr/bigdata/
[root@master ~]# scp -r /usr/bigdata/hadoop-3.3.0 root@slave2:/usr/bigdata/
[root@master ~]# scp -r /usr/bigdata/hadoop-3.3.0 root@slave3:/usr/bigdata/

16、在其他各个节点上配置  HADOOP_HOME

略

17、在 master 节点上格式化

[root@master ~]# hdfs namenode -format

18、启动 HDFS  服务

[root@master ~]# /usr/bigdata/hadoop-3.3.0/sbin/start-dfs.sh

查看启动状态

19、停止 HDFS 服务

[root@master ~]# /usr/bigdata/hadoop-3.3.0/sbin/stop-dfs.sh

四、Hadoop HDFS 基本操作

# 查看目录
hdfs dfs -ls /
# 创建目录
hdfs dfs -mkdir /hadoop
# 上传文件
hdfs dfs -put /opt/text.txt /hadoop
# 删除目录
hdfs dfs -rm -r /hadoop

1：创建目录；2：创建文件并上传 hdfs

查看启动状态

[root@master ~]# netstat -lntp

浏览器查看 HDFS 

浏览器 地址栏 录入 http://192.168.11.21:9870/    说明：192.168.11.21  是我 master 节点的IP地址

至此，Centos7.x  安装部署 Hadoop 3.x HDFS基础环境（非高可用集群）操作完毕，希望能够对您有所帮助！

 

 

一花一世界~
关注
  • 3
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CentOs7下安装Hadoop详细步骤
weixin_58941637的博客
12-07 5310
一、安装虚拟机 版本（CentOS7） 二、修改主机名（当前虚拟机的主机名） 1.查看当前的主机名 hostname 2.修改主机名 vi /etc/hostname （1）一定要在vi的命令模式下（在编辑模式下按esc键） :wq #保存退出 :wq! #强制保存退出 :q #退出 :q! #强制退出 （2）编辑模式下：i当前光标所在的位置。 3.启动命令： reboot -h now 补充：第二种修改主机名的方式 Hostnamectl set-hostname <自己编写的主机名&g
Centos7.x Hadoop 3.x HDFS 写入文件
sinat_28371057的博客
03-27 410
操作目的 1、在Linux环境下 编写HDFS写文件程序的java文件 2、编译并打包HDFS的写程序 3、执行HDFS的写程序 环境、工具说明 1、先搭建一个 Hadoop 的基础集群环境 参考：Hadoop集群搭建 2、JDK版本：jdk1.8 安装配置过程 3、工具：xshell5 4、VMware 版本：VMware Workstation Pro15 5、Hadoop：3.3.0 在clinet节点上编写HDFS写程序 1、在将要编写 java 程序的节点上配置环境变量 此处我选择了 slav
CentOS7安装Hadoop集群完整步骤
weixin_55076626的博客
05-26 1万+
1. 安装3台centos7服务器 1.1.配置名字hadoop01\hadoop02\hadoop03 hostnamectl set-hostname hadoop01 hostnamectl set-hostname hadoop02 hostnamectl set-hostname hadoop03 1.2.修改hosts文件 vi /etc/hosts 文件末尾添加以下内容： hadoop01的ip地址 hadoop01 hadoop02的ip地址 hadoop02 ha
超详细版本|Linux Centos7从零搭建Hadoop集群及运行MapReduce分布式集群案例(全网最详细教程！)
未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触
11-20 8703
花了快2小时的超详细版本的Linux从零搭建Hadoop集群(CentOS7+hadoop 3.2.0+JDK1.8+Mapreduce完全分布式集群案例+详细源码图文讲解)终于整理完成了！里面有详细的代码讲解及图文操作，能够更好的帮助大家搭建，希望此教程对各位有所帮助，这些都已经试过水了，各位环境配置和操作没问题的话，基本都能部署完成，我这里部署了一个从机node1节点，可以根据自己需要增加3台或者更多node节点，节点配置信息修改的操作都是一样的。祝各位部署一切顺利！
Hadoop集群环境配置及安装配置（详细过程包含安装包）_hadoop安装与配置
最新发布
2401_84167086的博客
05-10 1651
4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。加载新时区：sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime。3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java。
centos7安装hadoop
qq_57074721的博客
01-21 2322
点击完成，来到信息安装摘要界面，点击软件选择。默认是最小安装，为了方便我们学习，需要点进去选择一些配置。点击编辑虚拟机设置，点击CD\DVD，选择IOS镜像文件，这个镜像文件就是centos7的镜像文件。在安装的过程中，设置root用户的密码，可根据自己的需求添加普通用户。根据自己的电脑配置，选择处理机的数量以及每个核的数量。选择标准分区，添加挂载点/boot 分配1G空间。点击主机名，设置一个方便识别的主机名，点击完成。来到欢迎界面，左边滑倒最底下，选择中文。添加挂载点，分配剩下的空间，点击完成。
大数据平台搭建——hadoop集群（基于CentOS-7）的搭建
m0_73509128的博客
08-13 5650
本次hadoop集群搭建的虚拟机采用的软件为VMware Workstation Pro，用的镜像文件为CentOS-7，此篇文章是为自己准备大数据比赛中的大数据平台搭建部分所写，故只针对搭建hadoop集群搭建的部分进行概述，前绪工作包括虚拟机的搭建读者可以阅读下面的文章自行进行安装。将主机上的hadoop文件传输到副机上去，这里可以先新建两个虚拟机并且和前面一样配置好相关信息，再在终端中输入：scp -r 源hadoop文件路径 机器用户名：目标路径位置后，即可传输，比较麻烦，
CentOS7 Hadoop 2.7.X 安装部署.docx
04-29
CentOS7 Hadoop 2.7.X 安装部署 本文档将指导您如何在 CentOS 7 上安装和部署 Hadoop 2.7.X。Hadoop 是一个开源的大数据处理框架，由 Apache 开发，旨在提供高效、可靠、可扩展的数据处理能力。 准备软件包 在...
CentOS7 Hadoop 2.7.X 安装部署.rar
03-19
在本教程中，我们将深入探讨如何在CentOS7操作系统上安装和部署Hadoop 2.7.x版本。Hadoop是一个开源的分布式计算框架，广泛应用于大数据处理和存储。以下是详细的步骤和注意事项，确保您能够成功地搭建起一个运行在...
手把手教你在腾讯云上搭建hadoop3.x伪集群的方法
09-14
在本教程中，我们将深入探讨如何在腾讯云上搭建Hadoop 3.x的伪集群。首先，我们需要确保我们的系统环境是CentOS Linux release 7.5.1804 (Core)。伪集群允许我们在单个节点上模拟多节点集群的行为，这对于开发和测试...
Hadoop2.X/YARN环境搭建--CentOS7.0系统配置
09-10
【Hadoop2.X/YARN环境搭建--CentOS7.0系统配置】 在大数据处理领域，Hadoop是一个不可或缺的工具，它的核心组件包括分布式文件系统HDFS和资源管理系统YARN。Hadoop2.X引入了YARN（Yet Another Resource Negotiator...
Hadoop2.x安装共25页.pdf.zip
11-21
很抱歉，根据您提供的信息，"Hadoop2.x安装共25页.pdf.zip"这个压缩文件似乎包含了关于Hadoop 2.x安装的详细教程，但实际的文件内容并没有提供。通常，这样的文档会涵盖Hadoop环境配置、集群搭建、分布式文件系统...
从CentOS到Hadoop（Linux CentOS 7 安装配置Hadoop伪分布过程详解）
ADwenwen的博客
07-31 4454
目录 零、前言 一、虚拟机安装及CentOS系统配置 二、CentOS系统及网络配置 三、SSH无密码登录 四、Java安装及环境配置 五、Hadoop0.20.0伪分布环境安装 六、运行示例 七、参考与感谢 零、前言 （一）、前言 最近在做wikipedia的东西，需要大规模处理数据，因此就需要使用hadoop工具操作。一开始想安装的linux版本是ubuntu 14和ha...
3. CentOS 7 安装 hadoop
博客简介
04-04 1906
准备阶段 1.判断是否已安装JDK，若无则安装，若有则进入正题。 # java -version JDK安装详解https://blog.csdn.net/qq_53715214/article/details/123890380?spm=1001.2014.3001.5502 2.hadoop 安装 进入设置好共享的文件夹下进行解压移动 hadoop # vmhgfs-fuse .host:/ /mnt/hgfs 挂载共享文件夹 # ..
CentOS7搭建Hadoop集群(V3.3.4)
Button的博客
01-29 2486
hadoop集群搭建
CentOS下Hadoop搭建
土豆~的博客
10-04 2227
本文章以记录自己所学，供大家参考。
centos7的HDFS完全分布式集群搭建
weixin_46492063的博客
08-05 60
压缩包请到我的另外一篇文章：伪分布式集群搭建。
Linux系统（Centos7）实现hadoop安装
热门推荐
weixin_45831715的博客
12-07 1万+
Linux系统（Centos7）实现hadoop安装
CentOS中Hadoop的安装配置简略教程
weixin_55280439的博客
04-27 3606
http://主节点IP地址:808//cluster。重启三台电脑，重启后在终端Shell。中区分三台主机，修改其显示的主机名，执行如下命令。http://主节点IP地址:9870。三台机器的名称和IP。如果出现如下图，说明连接成功。无密码登录本机和访问集群机器。自动跳转到cluster页面。来测试三台电脑的连通性。中才会看到机器名的变化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值