Hadoop3.x完全分布式搭建（详细）

最新推荐文章于 2024-07-12 16:01:40 发布
最新推荐文章于 2024-07-12 16:01:40 发布
阅读量2.4k 收藏 4
点赞数 1
分类专栏： android 文章标签： 分布式 big data hadoop 计算机
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012804784/article/details/123391507
版权
本教程详细介绍了如何在Centos7系统上使用root用户搭建Hadoop3.x的完全分布式环境。包括创建hadoop用户、配置静态IP、修改主机名、关闭防火墙、设置权限、安装Java和Hadoop、配置环境变量、克隆虚拟机、修改克隆主机的主机名和IP、配置免密登录以及执行Hadoop的初始化格式化操作。
摘要由CSDN通过智能技术生成

Python微信订餐小程序课程视频

https://edu.csdn.net/course/detail/36074

Python实战量化交易理财系统

https://edu.csdn.net/course/detail/35475
环境准备

  1. vm虚拟机（自行安装Centos7系统）
  2. hadoop3.x安装包（linux版本）
  3. java1.8安装包（linux版本）

为了能够按照教程顺利操作，需要注意几点细节

  1. 不要不看文字直接复制粘贴
  2. 操作命令的用户很重要，否则后续会引发关于权限的问题
  3. ftp 与 终端工具需要自己操作使用本教程不涵盖操作，如有需要，自行百度，本教程均使用终端shell工具截图，其性质与linux系统右键打开终端相同。

开始啦！

  1. 使用root用户登录，用一个单独的用户管理hadoop集群，所以要用管理员(root)用户创建一个名字为hadoop的用户。
[root@hadoop102 ~]# useradd hadoop
  1. 设置 hadoop 用户的密码
[root@hadoop102 ~]# passwd hadoop
  1. 给 hadoop 用户提权，编辑如下路径文件
[root@hadoop102 ~]# vim /etc/sudoers

​ 将文件此处修改为这样（在100行左右）

  1. 修改静态IP
[root@hadoop102 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

​ 静态ip文件修改如下

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="385ea190-1b85-42cf-9df4-916f2dd86bc7"
DEVICE="ens33"
ONBOOT="yes"
#ip 写自己设置的
IPADDR=192.168.127.112
#子网掩码 固定的
NETMASK=255.255.255.0
#网关 就是将你ip最后一段改成1
GATEWAY=192.168.127.1
  1. 修改主机名
[root@hadoop102 ~]# vim /etc/hostname

​ 文件内写入自己的主机名字即可

最低0.47元/天 解锁文章
u012804784
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
《Hadoop 3》--完全分布式集群的搭建
yk_3215123的博客
03-25 407
一、完全分布式集群的安装步骤 准备工作： 三个主机 master,slave1,slave2 主机上的普通用户都是hyxy 管理目录~/apps/ master 192.168....
搭建Hadoop3.x完全分布式集群（CentOS 9）
tangyi2008的专栏
03-13 4218
本文详细介绍了Hadoop3完全分布式集群搭建的完整过程，主要包括：虚拟机安装、虚拟机克隆、网络环境配置、jdk安装、Hadoop安装、Hadoop配置参数、Hadoop服务的启动与关闭、常见问题及解决方法、示例演示等内容，并在文末提供了相关的百度网盘资源供下载。
Hadoop3.1.3完全分布式平台搭建
最新发布
qq_39652367的博客
07-12 1020
Hadoop3.1.3完全分布式搭建教程
大数据学习——Hadoop3.X集群完全分布式的搭建（超详细）
junR_980218的博客
04-02 3911
提示：避雷Hadoop集群搭建的各种坑！ 文章目录前言一、基础环境的下载二、基础环境安装jdk安装与环境配置2.hadoop安装总结 前言 提示：不是小白你别来！ 提示：以下是本篇文章正文内容，下面案例可供参考 一、基础环境的下载 1: 系统环境 Ubuntu18.04 2: jdk1.8.0_321 下载地址 链接：https://pan.baidu.com/s/1hvGmAISZTVRRTVhLOilYrw 提取码：9802 3: hadoop-3.3.0 下载地址 链接：https://pan.
1. hadoop 3.x 完全分布式环境搭建
cl2010abc的专栏
05-29 809
slaves 文件 配置slave节点 core-site.xml mapred-site.xml yarn-site.xml hadoop-env.sh hdfs-site.xml 副本数 replication namenode.name datanode.data core-site.xml hadoop.tmp.d...
「3-Hadoop」：Hadoop3.x完全分布式集群完整搭建过程
qq_31454379的博客
05-21 725
一：资源准备 Centos7 机器3台：单机至少2g内存 修改机器hostname vim /etc/hostname 我这里三台机器分别是 hadoop102、hadoop103、hadoop104 3. 配置hosts文件使三台机器可以内网通信 vim /etc/hosts 4. pin
hadoop3完全分布式搭建
weixin_43224710的博客
10-14 227
步骤： 安装JDK，配置环境变量 安装Hadoop，配置环境变量 ssh免密配置 集群分发脚本 集训配置文件 启动 集群规划： master:10.199.164.226 slave1:10.199.217.78 slave1:10.199.217.79 master:10.199.164.226 slave1:10.199.217.78 slave1:10.199.217.79 NameNode、DataNode DataNode SecondaryNameNode、DataNode
最简hadoop3.x完全分布式集群搭建
qzcsu的博客
03-12 3746
环境准备 三台 Linux centos 7机器，本例中使用 vmware 创建三台虚拟机作为替代 基于1，电脑需要安装好 vmware 软件，需要使用 secureCRT 登录Linux机器方便操作 准备好 jdk 8 和 hadoop-3.1.2 安装包 效果描述 最后的集群为一个三台机器的 hadoop 集群，其中数据结点（DataNode）和计算结点（NodeManager）分布在...
20210823-基于centos7搭建hadoop3.X完全分布式集群
u013531477的博客
08-31 523
#关键字：CentOS7、hadoop/hadoop3/hadoop3.0/hadoop3.x完全分布式集群 一、目标： 1、基于hadoop3在虚拟机上搭建3个节点的hadoop完全分布式集群。 2、集群部署规划： 主机名 服务名 hadoop3 hadoop4 hadoop5 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN ...
Hadoop2.x完全分布式环境搭建及测试验证
ttjay000的博客
07-23 367
Hadoop2.x完全分布式环境搭建及测试验证 前置条件： [1]已制作好CentOS虚拟机模板。 [2] 该模板安装好Oracle JDK，且JAVA_HOME值为/usr/java/jdk1.8.0_171-amd64/jre。 准备三台虚拟机 [1] 搭建完全Hadoop...
Hadoop2.x完全分布式+HA环境搭建及测试验证
qq_15625193的博客
01-21 331
前置条件： [1]已制作好CentOS虚拟机模板。 [2] 该模板安装好Oracle JDK，且JAVA_HOME值为/usr/java/jdk1.8.0_171-amd64/jre。 CentOS模板安装可参考我的博客：https://blog.csdn.net/gobitan/article/details/80993354 准备三台虚拟机 [1] 搭建完全Hadoop分布式+HA最少需要三台服务器，假设三台服务器的IP地址如下： 192.168.159.200 hadoop01...
Hadoop3.x 完全分布式搭建（详细）
HelloWorld
03-09 2299
环境准备 vm虚拟机（自行安装Centos7系统） hadoop3.x安装包（linux版本） java1.8安装包（linux版本） 为了能够按照教程顺利操作，需要注意几点细节 不要不看文字直接复制粘贴 操作命令的用户很重要，否则后续会引发关于权限的问题 ftp 与 终端工具需要自己操作使用本教程不涵盖操作，如有需要，自行百度，本教程均使用终端shell工具截图，其性质与linux系统右键打开终端相同。 开始啦！ 使用root用户登录，用一个单独的用户管理hadoop集群，所以要用管理员(roo
hadoop3.x系列完全分布式集群部署（虚拟机网络连接、jdk安装、hadoop安装）
m0_58258383的博客
07-08 1454
hadoop3.x系列完全分布式集群搭建（小白）
hadoop3 完全分布式集群搭建（一）
吉他程序员的博客
11-15 843
基础概念 1. NameNode 存储文件的元数据。如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限），以及每个文件的块列表和所在的DataNode等。 2. DataNode 具体存储文件块数据，以及数据块校验和。 3. Secondary NameNode(2nn) 每隔一段时间对NameNode元数据备份。 4. ResourceManager 管理整个集群的资源（内存，cpu等）。 5. NodeManager 管理单个节点的资源（内存，cpu等）。 开始搭建
Hadoop3完全分布式环境搭建 （附带相互免密）
H_hello_world的博客
12-22 1966
1、环境准备 提前准备三台虚拟机（最少三台，越多越好，不然，没钱你搞什么大数据????），构建三台虚拟机免登录 为了方便使用 ，先把各自主机的端口号起一个别名 这里是需要JDK版本支持的，我用是8版本（JDK安装这里就不说了，自行解决） Xshell有所有会话一起操作的功能，我们就直接一起进行修改 1、开启所有会话 2、修改 【1、2、3】vim /etc/hosts 添加三台虚拟机的端口号 我这里端口和名字分别对应 192.168.25.129 node01 192.168.25.130
Hadoop3.x完全分布式安装配置
qq_54244294的博客
09-05 121
注意:在配置hadoop完全分布式之前需要先安装jdk和配置集群免密哦~ 配置免密可以参考我上一篇文章: Centos7集群配置免密登录 2.配置环境变量 在文件末尾写入 保存并退出文件编辑 保存后执行配置文件生效 检测是否安装成功 出现版本号就是安装成功 二、修改配置文件 1.mapred-env.sh JAVA_HOM后面写你的jdk安装路径 2.yarn.env.sh 同上一样 3.mapred-site.xml mapred-site.xml要是不存在就复制一份，然后重命名为 mapred-sit
Hadoop3完全分布式
小忐忑的博客
10-14 1476
前期准备 三台linux，yum和网络都配置好 yum和网络配置点这里 jdk和hadoop的安装包上传上来 1.修改主机名 master下执行 hostnamectl set-hostname master bash slave1下执行 hostnamectl set-hostname slave1 bash slave2下执行 hostnamectl set-hostname slave2 bash 2.主机映射 三台都要执行 vi /etc/hosts 末尾写入 192.168.26.148
【Hadoop 3】图文详解：搭建Hadoop完全分布式运行模式
Zhou_LC的博客
10-04 1991
文章目录一、流程分析二、虚拟机准备三、拷贝 JDK、Hadoop 目录：scp 命令四、分发环境变量配置：编写集群分发脚本 xsync五、SSH 免密登录 一、流程分析 （1）配置一台客户机，如主机名为 hadoop102（关闭防火墙，配置IP），创建目录 /opt/software、/opt/module，并修改这两个目录的属主和属组都为当前用户，如用户 zlc； （2）再拷贝出两台客户机，如主机名为 hadoop103，hadoop104； （3）只在 hadoop102 客户机上：安装 JDK、Had
java微信支付成功,服务器宕机 系统层面如何解决
09-17
当Java微信支付成功后，如果服务器宕机，系统层面可以采取以下措施来解决问题： 1. 高可用架构设计：通过搭建分布式集群、负载均衡等方式来提高系统的可靠性和稳定性。在多个服务器之间实现数据的冗余备份和任务的自动切换，一旦某个服务器宕机，其他服务器可以接替其工作，保证系统的持续运行。 2. 数据库事务管理：使用数据库事务机制来确保微信支付成功的数据及时、准确地写入数据库中。通过设置数据库的隔离性级别，可以保证支付数据的一致性，并在事务提交之前进行数据校验和处理。 3. 异步消息队列：将支付成功的消息发送到异步消息队列中，确保消息不会因服务器宕机而丢失。其他可用的服务器可以监听消息队列，获取并处理支付成功的消息，保证支付成功的后续业务流程的正常进行。 4. 定期备份与容灾恢复：定期对服务器数据进行备份，并建立容灾系统。在服务器宕机后，可以通过备份数据和容灾系统的恢复功能来快速恢复支付系统的正常运行。 5. 监控与报警机制：设置监控系统，实时监测服务器的运行状态和性能指标。一旦服务器宕机，监控系统会自动发出报警，提醒运维人员及时处理，以减少系统故障对用户的影响。 总之，通过构建高可用架构、使用数据库事务、异步消息队列、定期备份与容灾恢复以及监控与报警机制的综合应用，可以在服务器宕机时有效解决Java微信支付成功的系统层面问题，提高系统的稳定性和可靠性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值