contos8分布式集群部署hadoop-3.2.1

最新推荐文章于 2024-04-17 06:41:03 发布
最新推荐文章于 2024-04-17 06:41:03 发布
阅读量1.6k 收藏 8
点赞数 5
分类专栏： 运维云计算 文章标签： hadoop 大数据 centos 分布式 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dp340823/article/details/113334253
版权
本文详细介绍了在CentOS8系统中部署Hadoop-3.2.1分布式集群的步骤，包括安装JDK和Hadoop、设置SSH免密登录、修改配置文件、启动Hadoop服务以及访问应用的全过程。
摘要由CSDN通过智能技术生成

目录

部署条件准备

安装虚拟机和设置静态ip联网可以参考如下：

一、安装jdk和hadoop

1.上传软件包到指定目录下

2.将jdk解压到指定目录/opt下

3.将hadoop解压到指定目录/opt下

4.修改环境变量并使之生效

5.验证jdk和hadoop安装是否正确

 ​

 二、设置ssh免密登录

1.关闭防火墙

2.修改 hosts

3.生成公钥 

4.公钥复制到其他机器上

5.验证登录

三、修改hadoop配置文件

1.修改配置文件hadoop-env.sh（在末尾添加已下内容）

2.修改配置文件core-site.xml

3.修改配置文件hdfs-site.xml

4.修改配置文件mapred-site.xml

​

5.修改配置文件yarn-site.xml

​

6.新建masters文件(/opt/hadoop-3.2.1/etc/hadoop/目录下)

7.新建workers文件(/opt/hadoop-3.2.1/etc/hadoop/目录下)

8.新建tmp、name、data文件夹(/opt/hadoop-3.2.1目录下)

9.将master机上的复制文件到slaver01、slaver02

四、启动hadoop

1.第一次启动需要格式化namenode(/opt/hadoop-3.2.1)

2.启动dfs

3.启动yarn

4.用jps验证

​

五、访问应用

1.浏览器输入192.168.137.161:50070

2.浏览器输入192.168.137.161:8088

完成！！！

部署条件准备

需要3台虚拟机master(192.138.137.161)，slaver01(192.138.137.162)，slaver02(192.138.137.163)

系统centos8，配置1核CPU，2G内存，20G硬盘

软件包：hadoop-3.2.2.tar.gz，jdk-8u191-linux-x64.tar.gz

安装虚拟机和设置静态ip联网可以参考如下：

安装虚拟机Centos8：VMware Workstation安装虚拟机Centos8_dp340823的博客-CSDN博客

宿主机连接wifi，centos8静态IP联网：宿主机连接wifi，centos8静态IP联网_dp340823的博客-CSDN博客

一、安装jdk和hadoop

这些操作是在master(192.138.137.161)进行的，

后续将文件scp到slaver01(192.138.137.162)和slaver02(192.138.137.163)即可

1.上传软件包到指定目录下

2.将jdk解压到指定目录/opt下

tar zxvf jdk-8u191-linux-x64.tar.gz -C /opt

3.将hadoop解压到指定目录/opt下

tar zxvf hadoop-3.2.1.tar.gz  -C /opt

4.修改环境变量并使之生效

vim /etc/profile


#java
export JAVA_HOME=/opt/jdk1.8.0_191
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
#hadoop
export HADOOP_HOME=/opt/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root


source /etc/profile

 

5.验证jdk和hadoop安装是否正确

java -version
hadoop version

 

 二、设置ssh免密登录

3台虚拟机都要做

1.关闭防火墙

systemctl stop firewalld
firewall-cmd --state

2.修改 hosts

vim /etc/hosts


192.168.137.161 master
192.168.137.162 slaver01
192.168.137.163 slaver02

 

3.生成公钥 

ssh-keygen -t rsa

 一直回车即可

最低0.47元/天 解锁文章
东鹏特饮
关注
  • 5
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 6
    评论
专栏目录
Centos8.2部署Hadoop高性能集群
qq_30632605的博客
08-12 931
目录1.Hadoop概述2.部署Hadoop3.3高性能集群3.通过Hadoop执行计算任务 1.Hadoop概述 Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop 的框架最核心的设计就是：HDFS 和 MapReduce。HDFS 分布式文件系统为海量的数据提供了存储，则 MapReduce 为海量的数据提供了计算。 官方网站：http://hadoop.apache.org
分布式系统与集群的区别
zhaohu086的专栏
08-25 561
简单说，分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率。 　　例如：如果一个任务由10个子任务组成，每个子任务单独执行需1小时，则在一台服务器上执行改任务需10小时。 　　采用分布式方案，提供10台服务器，每台服务器只负责处理
hadoop集群在centos8简单部署命令
PatricksStars的博客
11-03 71
-配置Hadoop的临时目录，默认/tmp/hadoop-${user.name}-->--用于设置Hadoop的文件系统，由URI指定-->--hdfs web的地址，默认为9870，可不配置-->--关闭虚拟内存检测，在虚拟机环境中不做配置会报错-->--注意如果使用hadoop2，默认为50070-->-- 指定MapReduce程序运行在Yarn上 -->--副本数，默认为3，可不配置-->--设置数据节点的目录-->--设置辅助名称节点-->--设置名称节点的目录-->
关于集群和分布式部署
午夜精灵
10-01 829
EJB的RPC是同步调用可实现分布式计算，是SessionBean和EntityBean用的，而JMS是异步调用。RMI，和webservice也可以实现分布式计算。 举例说明，假设我们的系统有三个EJB组件：人事、财务、销售，都是开放远程接口，有A、B两台应用服务器，EJB分布式的概念就是可以在A上部署人事、财务的EJB包，在B上部署销售的EJB包，假如有一天用户发现负载不太均衡，就可能调整...
Centos中Hadoop多节点集群配置 &amp； Zookeeper安装_centos8启动hadoop集群用不用启动zookeeper(1)
最新发布
时间与思念
04-17 736
有一台从机没有启动成功原因：hostname与slaves文件下的xx03不对应，解决方法查看。
centos8单机(本地模式)部署hadoop-3.2.1
dp340823的博客
01-20 3658
知识了解 单机部署模式介绍 单机(本地模式)是Hadoop的默认部署模式。 当配置文件为空时，Hadoop完全运行在本地。 不需要与其他节点交互，单机(本地模式)就不使用HDFS，也不加载任何Hadoop的守护进程。 该模式主要用于开发调试MapReduce程序的应用逻辑。 一、安装jdk1.8 1.下载好jdk1.8并放到root目录下 2.解压到/usr/java下并改名为jkd mkdir /usr/java tar -zxvf jdk-8u191-linux-x.
手把手教你用Centos7安装完全分布式Hadoop3.2.1
pgs1004151212的博客
02-29 1546
一、设置ssh免密码登录 1.确认ssh服务已经安装并打开： 2.打开文件/etc/ssh/sshd_config，确保以下配置已经添加(如果被"#“注释了就把”#"删除，用sudo完成)： AuthorizedKeysFile .ssh/authorized_keys PubkeyAuthentication yes 3、输入ssh-keygen -t rsa，然后一路回车，...
Centos7环境下，配置Hadoop-3.2.1伪分布式以及问题处理
flqxing的博客
12-02 350
Centos7环境下，配置Hadoop-3.2.1伪分布式以及问题处理 主要分为一下几个步骤： 安装jdk（原因下面请看）； 修改host配置； 关闭防火墙； 安装hadoop； 配置 Hadoop 伪分布式； 启动hdfs； 准备工作 关闭防火墙 #停止防火墙 systemctl stop firewalld #关闭防火墙开机自动启动 systemctl disable firewalld 修改hosts文件，配置用户指定本机IP地址 例如;192.168.1.1 hadoop Hadoop的
Hadoop（二、centos7安装Hadoop-3.2.1集群--超详细）
wise_nut的博客
06-07 836
原文链接 : Hadoop（二、安装Hadoop-3.2.1集群）. 1. 前置条件 准备3台虚拟机，关闭防火墙，修改主机名与ip，互相能ping通，设置ssh免密登录 jdk版本：java version “1.8.0_251” Hadoop版本：hadoop-3.2.1 链接：https://pan.baidu.com/s/1ygVjxxEl3aFIaFwJHwQD9g 提取码：mi8x 参考资料： 链接: VMware虚拟机网络连接的3种方式. 链接: Centos7 修改UUID、IP和主机名.
MySQL分布式集群部署
12-05
为5台机器全部安装64位centos6.4并配置好网络： 数据库Master主服务器（两台）：10.18.12.152，10.18.12.153 数据库Slave从服务器（两台，即sql及存储节点）：10.18.12.154，10.18.12.155 MySQL-Proxy调度服务器：10.18.12.157
VMware上CentOS7.0+Hadoop3.1伪分布式搭建
09-18
VMware上CentOS7.0+Hadoop3.1伪分布式搭建
CentOS 8 官方正式发布了！
热门推荐
那杯热咖啡
09-25 5万+
CentOS 8官方正式发布了！CentOS 完全遵守 Red Hat 的再发行政策，并且致力与上游产品在功能上完全兼容。CentOS 对组件的修改主要是去除 Red Hat 的商标及美工图。该版本还包含全新的RHEL upstream, CentOS Streams。 官方中文的发行说明：https://wiki.centos.org/Manuals/ReleaseNotes/CentOS...
centOS7+jdk8+hadoop3
有钱又有有钱
09-14 261
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Ma...
Hadoop全分布式搭建(centos8+jdk8)记录
weixin_45873156的博客
11-19 2127
Hadoop全分布式搭建 之前搭建了伪分布的hadoop,也是在google、百度上找了很久了资源。很费时费力 遇到的问题又很多。现在 记录一下自己的搭建过程，同时也提供给有hadoop搭建需求的小伙伴些许的帮助。 环境 centos8 jdk1.8 win10 64位系统 VMware workstation15 3台虚拟机 1台master 另外两台slaver01、slaver02 目录Hadoop全分布式搭建一、Hadoop和jdk下载二、Linux系统网络配置二、使用步骤1.引入库2.读入数据
集群和分布式部署有什么区别?
weixin_30216561的博客
02-10 1276
小饭店原来只有一个厨师，切菜洗菜备料炒菜全干。后来客人多了，厨房一个厨师忙不过来，又请了个厨师，两个厨师都能炒一样的菜，这两个厨师的关系是集群。 为了让厨师专心炒菜，把菜做到极致，又请了个配菜师负责切菜，备菜，备料，厨师和配菜师的关系是分布式，一个配菜师也忙不过来了，又请了个配菜师，两个配 菜师关系是集群 转载于:https://www.cnblogs.com/yixiao21/p/8438321...
linux入门--基于contos8
GentleMan_DYJ的博客
03-31 564
linux 一.VirtualBox下载路径： 二.CentOS8下载路径： 三.centOS8安装： 1.创建虚拟机： 注意：虚拟机名以centos开头。参数会自动选择对应的匹配的设置参数 2.启动虚拟机： 虚拟机配置成功后哦，按“启动”按钮。启动虚拟机。启动虚拟机后，会弹出虚拟机窗口，选择安装的系统（CentOS8）的镜像文件，然后再点击弹出的虚拟机中的“启动”按钮 3...
部署方式再谈—集群和分布式
weixin_44597836的博客
06-11 3341
集群分布式实现 集群实现方式为主从方式则对外提供访问的是 集群id或者域名，而非ip:端口。因为master死掉，slave转换为master，唯一不变的是集群id或者按约定的域名。 比如redis，master提供读写，slave仅提供读。client访问不分主从，相当于负载均衡。哨兵节点实现：服务健康监控，服务监控，主挂掉选举新的master，自信实现高可用。 主备实现 keepalived实现高可用，还需人工切换。或主挂掉，就两节点。机制单一 ...
服务器分布式部署和集群部署的区别
qq_27474555的博客
08-22 2万+
服务器分布式部署和集群部署的区别 1、分布式部署 分布式是以缩短单个任务的执行时间来提升效率的；分布式是将不同的业务分布在不同的地方； 2、集群部署 集群是将几台服务器集中在一起，实现同一业务；集群是通过提高单位时间内执行的任务数来提高效率；集群主要分为高可用集群(High Availability Cluster)、负载均衡集群(Load Balance Cluster，nginx即可实现)、科...
CentOS集群配置Hadoop-0.20.2：Namenode与Datanode无密码SSH
"CentOS下Hadoop-0.20.2集群配置文档" 在搭建Hadoop-0.20.2集群的环境中，主要涉及的关键技术点和步骤如下： 1. **集群架构**：该集群由3个节点组成，其中包括1个NameNode作为主节点，负责元数据管理，以及2个...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

东鹏特饮

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值