hadoop 3.2 集群搭建

最新推荐文章于 2023-05-29 14:17:31 发布
最新推荐文章于 2023-05-29 14:17:31 发布
阅读量1.9k 收藏 26
点赞数 1
分类专栏： linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39314099/article/details/103681298
版权

hadoop 集群 3.2 搭建过程其实很简单。

选择自己想要的版本，我第一次搭建用的是2.7.5，虽然也搭建出来了，但是在web管理页面没有看到文件管理的相关按钮：

自我感觉不完美，后来看同事的集群，页面访问是有相关按钮的：

所以仔细对比了下配置文件，并未发现有什么异同，唯一不同的是版本不同，他用的是3.0版本，而我是2.7.5，索性重新装一个高版本的试下，下面是过程：

我的集群是三台机器：

hostnameip主节点namenode从节点datanode
CentOS121192.168.18.121truetrue
CentOS122192.168.18.122falsetrue
CentOS123192.168.18.123falsetrue

（基础知识不再科普，有需要自行查阅资料）

首先声明：我并不会关闭防火墙，防火墙的存在是为了保护系统，我觉得开着还是有必要的。

准备工作（三台机器都需要做）：

  • 防火墙：大多数的教程都是先关闭防火墙，其实不关闭也是可以实现的，新建一个防火墙富规则即可，使三台机器相互信任。 
    在CentOS121上需要如此配置，信任另外两台机器（另外两台同理）：

firewall-cmd --permanent --add-rich-rule='rule family=ipv4 source address=192.168.18.122/24 accept'

firewall-cmd --permanent --add-rich-rule='rule family=ipv4 source address=192.168.18.123/24 accept'


如此可实现内部通信畅通，无需再关闭防火墙。   

                                                                                                                        

  • hostname（修改后需重启机器）：

    vim /etc/hostname

  • ssh免密登录：参见我另一篇博客：https://blog.csdn.net/qq_39314099/article/details/103503870

  • 开放namenode网页web访问端口：9870（2.7.5版本是50070）
firewall-cmd --zone=public --add-port=9870/tcp --permanent

firewall-cmd --reload
  • 另外，java环境需要提前配好。

将下载后的压缩包上传到linux中，或者用wget直接下载也可。

然后解压，我的目录是/usr/local/software/hadoop。

然后配置环境变量，关于环境变量我认为放在/etc/profile.d/下是比较合适的，新建一个自己的sh脚本文件：

然后使配置文件生效，

source /etc/profile

如果此处操作成功，可以查看hadoop版本：

hadoop version

  • 首先在hadoop安装目录下建立几个文件夹：
假设当前在hadoop安装目录下：

mkdir tmp 用来存储临时文件

mkdir -p hdfs/name 作为namenode的数据目录

mkdir hdfs/data 作为datanode的数据目录

最终的结构是这样的：

  • 接下来配置核心的几个配置文件：
core-site.xml：核心配置文件。

hdfs-site.xml：hdfs存储相关配置。
mapred-site.xml：MapReduce相关的配置。
yarn-site.xml：和yarn相关的一些配置。
workers（2.7.5 版本叫 slaves）：用来指定从节点，文件中默认是localhost。
hadoop-env.sh：配置hadoop相关变量（3.2需要配置java_home和user，2.7.5只需要配置java_home）。

进入hadoop安装目录下，进入hadoop目录下的etc/hadoop目录，这五个文件都存放于这个目录下。

  1. core-site.xml：核心配置文件中指定默认文件系统和临时文件目录。 
     <configuration>
     <property>
         <name>fs.defaultFS</name>
         <value>hdfs://CentOS121:9000</value>
     </property>
     <property>
         <name>hadoop.tmp.dir</name>
         <value>/usr/local/software/hadoop/tmp</value>
     </property>
 </configuration>

     

  2. hdfs-site.xml：关于hdfs存储系统相关配置。 
    <configuration>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>CentOS121:50090</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/software/hadoop/hdfs/name</value>
        <final>true</final>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/software/hadoop/hdfs/data</value>
        <final>true</final>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>
</configuration>

  3. mapred-site.xml：MapReduce的相关配置项。

    <configuration>

    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>CentOS121:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>CentOS121:19888</value>
    </property>
    <property>
        <name>mapreduce.application.classpath</name>
        <value>
            /usr/local/software/hadoop/etc/hadoop,
            /usr/local/software/hadoop/share/hadoop/common/*,
            /usr/local/software/hadoop/share/hadoop/common/lib/*,
            /usr/local/software/hadoop/share/hadoop/hdfs/*,
            /usr/local/software/hadoop/share/hadoop/hdfs/lib/*,
            /usr/local/software/hadoop/share/hadoop/mapreduce/*,
            /usr/local/software/hadoop/share/hadoop/mapreduce/lib/*,
            /usr/local/software/hadoop/share/hadoop/yarn/*,
            /usr/local/software/hadoop/share/hadoop/yarn/lib/*
        </value>
    </property>
</configuration>

  4. yarn-site.xml：yarn相关配置。

    <configuration>

<!-- Site specific YARN configuration properties -->

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>CentOS121:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>CentOS121:8030</value>
    </property>
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>CentOS121:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>CentOS121:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>CentOS121:8088</value>
    </property>
</configuration>

  5. workers（2.7.5版本为slaves）：用以指定datanode从节点。

    CentOS121
CentOS122
CentOS123

  6. hadoop-env.sh：（3.2需要配置，2.7.5只需要配置java_home）

    # java_home若已配过，这里可以直接引用，否则应配置完整jdk路径
export JAVA_HOME=${JAVA_HOME}
# 安装用的是root用户，所以这里都设置为root
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

配置完成，然后将整个hadoop文件夹分发到另外两个机器上，用scp命令即可：

scp -r hadoop/ CentOS122:/usr/local/software/

scp -r hadoop/ CentOS123:/usr/local/software/

然后将环境变量等配置好
  • 接下来格式化namenode： 
    hdfs namenode -format

    这个操作需要在主节点进行。成功的话会看到成功格式化的日志：

  • 启动hadoop，可以单独启动，也可以用hadoop提供的脚本一次性都启动：

    hadoop/sbin/start-all.sh

    启动成功的话可以看到如下日志，分别用 jps 命令查看三个机器：

  • 验证：访问页面。访问namenode主节点端口为9870，

  • 访问yarn管理界面：这里也可以看到三个节点成功起来了。

接下来看看hdfs文件系统，并用python连接。

简单的一个写入csv文件，并读取的过程：

# -*- coding: utf-8 -*-
import pandas as pd
import hdfs
_author_ = 'luwt'
_date_ = '2019/12/18 18:20'


hdfs_user = 'root'
hdfs_addr = 'http://192.168.18.121:9870'
client = hdfs.InsecureClient(hdfs_addr, user=hdfs_user)
df = pd.read_csv("D:\\Data.csv")
print(df)
hdfs_path = '/test/a.csv'
client.write(hdfs_path, df.to_csv(index=False), overwrite=True, encoding='utf-8')
read = client.read(hdfs_path, encoding='utf-8')
with read as reader:
    for row in reader:
        print(row)

运行成功：

接着查看web页面：

大功告成。

夕秋一梦
关注
  • 1
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
【大数据入门核心技术-Hadoop】（六）Hadoop3.2.1高可用集群搭建
12-03 3073
独立模式又称为单机模式，仅1个机器运行1个java进程，主要用于调试。伪分布模式也是在1个机器上运行HDFS的NameNode和DataNode、YARN的 ResourceManger和NodeManager，但分别启动单独的java进程，主要用于调试。单Namenode节点模式-高可用HA模式集群模式主要用于生产环境部署。会使用N台主机组成一个Hadoop集群。这种部署模式下，主节点和从节点会分开部署在不同的机器上。本教程主要安装 多Namenode 节点 高可用集群模式二、准备工作本高可用参考以上非高
Hadoop3.2 集群搭建
多一份贡献,多一份环保
04-28 1000
Hadoop3.2 集群新版本的搭建详细讲解过程，从下面第一张官方的图来看，最新版是3.2，所以大猪将使用3.2的版本来演示，过程中遇到的坑留给自己，把路留给你们，IT之路还有大猪。 大猪 为了把文章压缩极简方便小伙伴阅读，将使用root帐号进行所有操作。 准备两台主机10.211.55.11、10.211.55.12 对应的hostname为m1.example.com、m2.e...
Hadoop3 HA高可用集群搭建-hadoop3ha高可用集群搭建
峰
03-17 637
Hadoop3高可用（HA:High Available）测试集群搭建。NameNode是整个Hadoop集群的大脑。HDFS 在非 HA 模式的集群下，NameNode 和 DataNode 是一个主从的架构。在这样的主从架构之下只有一台 NameNode。一台 NameNode 的好处是无需因为元数据的同步而考虑数据的一致性问题。但这种模式下一旦NameNode挂掉，整个集群将不可用。
大数据开发一 Hadoop3.2.1 集群搭建与启动
m0_67402236的博客
04-28 679
目录 1. 简述 2. 集群搭建与启动 ? ?2.1基本环境准备与安装选择 ? ?2.2 hadoop的配置文件设置 （重点） ? ?2.3 启动 3. 踩坑记录 4. 结语 1. 简述 作为一名后端工程师，一直对大数据开发有浓厚的兴趣。自主学习已半年有余，特此总结Hadoop3.2.1 在虚拟机(centos6.7)环境下的集群搭建启动流程（从无到有），希望能帮到同在踩坑中的读者。 2. 集群搭建与启动 2.1基本环境准备与安装选择 基础环境不过多赘述，本人情况如下： 1. 三台虚拟机（centos6
Hadoop-3.2.x 高可用集群搭建
freedom_zzz的博客
08-27 284
本章节阐述为在指定版本环境下示例安装，其它环境可根据实际情况参考安装 一. 环境版本 软件 版本 下载地址 提取码 centos CentOS-7.6-x86_64 自行安装 6s86 java jdk 1.8 tar.gz 格式 自行百度安装 百度云下载 xfdm java jdk 1.8 rpm 格式 自行百度安装官网下载 iexu zookeeper 3.6.3 下载 – Hadoop 3.2.2 官网下载 – Hadoop 3.2.2 百度云下载 ed0.
【Hadoop】HA高可用搭建保姆级教程（大二学长的万字笔记）
你不来，再美的天地，都狼藉 ~
05-29 6560
Hadoop HA高可用搭建保姆级教程，来自正在学习大数据导论的大二学长的万字笔记，干得不能再干的干货分享！
Hadoop3.2 Yarn集群模式搭建
Joe192的博客
07-22 1341
前言： Hadoop3.2 集群是比较新稳定版本的搭建详细讲解过程，从下面第一张官方的图来看： 主机 本次操作为root，主要是方便操作，操作系统为：Centos7 1、准备两台主机192.168.0.233、192.168.0.234（资源有限，就用一台主机了） 2、对应的hosts为m1.example.com、m2.example.com 具体命令操作如下 vim /etc/hosts 192.168.0.233 m1.example.com 192.168.0.233 m2.example.co
Hadoop3.x入门-搭建3节点Hadoop HA集群
小末的博客
04-04 3096
1.前言 本文档适合3节点的Hadoop 高可用（HA：High Available）测试集群集群的搭建。 在上一篇文章中《Hadoop3.x入门-搭建3节点分布式集群》只是一个简单的测试的分布式集群，并不是高可用的，也就是说当namenode或者resourcemanager节点挂掉，hadoop的功能就无法使用了，所以无法应用到生产环境中。 本文在上一篇的基础上修改一些配置，将Hadoop集群改造为高可用集群。如果用上一篇文章搭建的集群，首先关闭集群所有进程，删除$HADOOP_HOME/data
Hadoop-3.2.3集群搭建
3322855165
05-28 926
准备三台最小化安装的Linux服务器：（单节点伪集群一台虚拟机即可，hdfs配置副本数设置为1，worker只有一个。所有节点推荐最小化安装Centos7.9或Ubuntu2004LTS。(单主机内存需>=4G)1、配置网络连通性，每台机器配置固定IP地址和DNS等网络信息2、主机名hostname设置和主机名解析3、配置时区和时间服务器，确保集群时间同步4、系统优化，关闭不需要的服务并进行文件系统基本优化。
docker搭建Hadoop 3节点及N节点集群完整教程
学亮编程手记
08-17 716
将Hadoop打包到Docker镜像中，就可以快速地在单个机器上搭建Hadoop集群，这样可以方便新手测试和学习。如下图所示，Hadoop的master和slave分别运行在不同的Docker容器中，其中hadoop-master容器中运行NameNode和ResourceManager，hadoop-slave容器中运行DataNode和NodeManager。...
Hadoop 2.3.0分布式集群搭建图文.doc
03-11
Hadoop 2.3.0分布式集群搭建图文
CentOS7下Hadoop3.2.1集群的安装与部署（上）
01-07
本篇文章将详细介绍如何在CentOS7服务器上安装并配置Hadoop3.2.1高可用集群。  Hadoop-HA集群的节点规划如下： IP Address Host Name Node Type User Name 172.16.250.234 DN1/JN1 DataNode/...
hadoop集群搭建详解
04-07
hadoop搭建详细步骤，方便搭建hadoop集群及单机环境
longhai3395#BigData-Notes#Hadoop集群环境搭建1
07-25
3.1 生成密匙 3.2 免密登录 3.3 验证免密登录 3.1 下载并解压 3.2 配置环境变量 3.3 修改配置 3.4 分发程序 3.5 初始化 3.6
Hadoop完全分布式集群总结
01-07
文章目录Hadoop完全分布式集群搭建一、新建虚拟机二、规划集群与服务1、逻辑结构2、物理结构3、总结构三、配置集群1、主节点基础网络配置1.1、配置固定ip地址1.2、修改主机名1.3、配置dns1.4、配置 ip 地址和主机名...
解决linux系统时间不对的问题
热门推荐
qq_39314099的博客
09-06 2万+
在虚拟机中查看安装的linux时间，总是不对，于是查阅资料，有很多解决办法，我个人比较倾向于用ntpdate的方式更新时间。 感觉比较好用的一个方法： 输入date查看时间，发现不对，相差甚远！（当前时间2019/09/06 11:19） 安装ntpdate： 删除etc/localtime文件，并复制shanghai时区文件替换到这里。 然后ntpdate -u ntp.a...
基于jumpserver堡垒机使用sftp传输文件
qq_39314099的博客
04-15 2万+
公司服务器一般都是需要通过跳板机进行登录： 传输文件可以用sftp命令，但是sftp命令也是和服务器打通一个传输文件的通道，那么想要往服务器上传文件，首先需要打通jumpserver的通道，也就是说需要sftp到跳板机， 跳上来以后，由于我只有一个服务器的访问权限，所以使用 ls 命令只能看到一个文件夹，进入和服务器 id 同名的文件夹，即可传文件，传到这个目录的文件相对应的是在相应服...
centos 添加新硬盘，对根目录扩容
qq_39314099的博客
05-26 8575
本地安装了虚拟机，系统为centos7，使用过程中，渐渐地发现磁盘容量不够用了，于是在虚拟机中新增了一块硬盘。 进入系统内查看： sdb是新增的硬盘，大小为40g。 接下来有两种方式，一种是普通方式直接挂载。https://blog.csdn.net/qq_39314099/article/details/106200322 这样的话只有在挂载点的目录下操作才能使用到这个新硬盘，不是很理想。 还有一种方式lvm，逻辑卷管理的方式。 LVM简单介绍： 它是 Linux 下对磁盘分区进行管
curl 发送图片和保存图片（文件）方法
qq_39314099的博客
03-23 8019
curl -F "file=@./wall.jpg;filename='wall.jpg'" http://localhost:5000/pic -F 后面接图片信息， 对比postman界面更容易理解，file就是参数名，可以随意起，但是需要服务端能接受，file=@文件路径，；文件名， 如果是多组用多个-F选项即可。 服务端接收后，刚才所起的参数名字便在这里了，比如换个名字：...
hadoop分布式集群搭建csdn
最新发布
12-16
Hadoop分布式集群搭建是为了更高效地处理大规模的数据以及实现数据存储和计算的并行处理。在搭建Hadoop分布式集群之前，首先要准备好必要的软件和硬件环境。需要确保所有的节点都有稳定的网络连接和足够的存储空间。 在搭建Hadoop分布式集群的过程中，首先要配置好Hadoop的基础环境，包括安装Java环境、配置各个节点的主机名和IP地址、设置SSH免密登录等。接着需要安装Hadoop的相关组件，包括Hadoop HDFS（分布式文件系统）和YARN（资源调度器），并对其进行相应的配置。另外还需要安装Zookeeper用于协调Hadoop集群中的各个节点。 在配置完Hadoop的基础环境和相关组件之后，就可以开始启动Hadoop集群并进行测试了。首先启动HDFS，确保各个节点都能够正常加入到HDFS集群中。然后启动YARN，确保资源管理和作业调度的正常运行。最后，可以通过提交MapReduce作业或者其他计算任务来验证Hadoop集群的性能和稳定性。 总的来说，搭建Hadoop分布式集群是一个复杂的过程，需要充分的准备和细致的配置。但一旦搭建完成并且运行正常，Hadoop分布式集群可以为用户提供强大的数据处理和存储能力，对于大规模数据处理和分析来说具有重要的意义。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值