【Hadoop】完全分布式安装

已于 2023-06-23 01:29:28 修改
阅读量723 收藏 7
点赞数
文章标签： hadoop 分布式 大数据
于 2023-06-23 01:22:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ht15177518806/article/details/131259934
版权

hadoop完全分布式安装

题目： 使用Hadoop、Hbase搭建新能源汽车大数据平台。

要求：1、集群至少要有三个节点；

2、由于条件有限，所以要求集群至少可以存储100G的数据；

3、将HDFS副本数设置为3；

4、NameNode要高可用，即运行两个NameNode进程，同一时刻只有一个对外提供服务的NameNode，如果活跃的NameNode进程所在机器宕机了，整个集群还是可以正常运行的；

5、可以正常提交MapReduce运行；

6、Hbase要集群部署，可正常建表、插入数据和查询数据等；

7、部署一个Mysql数据库，要求可以远程访问。

一、HADOOP完全分布式安装

1.先配好一台伪分布虚拟机（免密不成功请看最后补充说明）

2.把配置好的虚拟机复制三个虚拟机

（1）找到配置好虚拟机的路径

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

（2）在新路径新建三个文件夹分别是（注意此时文件为空）,之后把上一步里面配好的虚拟机文件全部复制过来放到三个不同的文件

在这里插入图片描述

3.为了避免混乱以其中一台机子为例子，右键更改名字为master.其他两台同理（过程省略）

在这里插入图片描述
在这里插入图片描述
这个是最后改好的样子
在这里插入图片描述

4.配置虚拟机静态ip（此时三台虚拟机的静态ip都相同）

（1）查看自己的主机静态ip，打开cmd/命令提示符/win+r
（2）输入ipconfig,看到VMent8就是我们要的ip

在这里插入图片描述

在这里插入图片描述

5、修改三台虚拟机（master、save1、save2）的ip和网关。三台机子ip不能一样（以master为例子，其他同理）

命令为
vi /etc/sysconfig/network-scripts/ifcfg-ens33
可以修改192.168.53.3~192.168.159.254 任意一个ip
在这里插入图片描述
192.168.91.3改为192.168.91.4
在这里插入图片描述
依次修改save1、save2
在这里插入图片描述
在这里插入图片描述
ip修改后重启网卡

systemctl restart network

注意修改完重启客户机三台，不然用MobaXterm连接不上

（1）打开MobaXterm尝试连接以上三台虚拟机。

<

最低0.47元/天 解锁文章
db_ht_2010
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Hadoop完全分布式安装
an_vana的博客
08-16 965
Hadoop 完全分布式安装 前言 ​ 之前有搭建过一次 Hadoop 完全分布式集群但是没有记录，最近开始着手自己搭个模拟数仓需要搭建集群，趁此机会记录一下搭建的过程。 环境及机器： 节点：三台虚拟机 配置：内存 16G、硬盘 100G 系统：Centos 7.7 Hadoop版本：2.7.7 1、安装JDK1.8 1.1 下载 JDK ​ 推荐安装 Oracle 官方提供的 JDK 版本，可以在 Oracle 官网下载得到，下载 Linux 系统的版本即可 1.2 解压 JDK ​ 将下载的 JDK
Hadoop完全分布式安装，全网最详细！
weixin_53492344的博客
03-15 2014
然后回车；
Hadoop完全分布式安装步骤
weixin_46178305的博客
08-28 5897
文章目录第一节：新建虚拟机1、配置类型为“自定义”2、安装来源为“稍后安装操作系统”3、客户机和版本分别为“Linux”和“CenOs7 64位”4、命名虚拟机5、处理器配置6、虚拟机的内存7、网络类型8、磁盘大小9、安装系统1、下一步2、点击 CD/DVD 进入查找系统镜像文件3、点击使用镜像文件4、开启虚拟机进入安装界面5、语言选择6、选择安装位置7、选择“我要配置分区”8、在手动分区界面选择“点击这里自动创建他们”9、点击完成即可10、开始配置网络11、开启连接和点击配置来配置网络12、编辑ens
2024年大数据最新Hadoop 完全分布式部署_hadoop分布式安装部署(1)，一名毕业三年的女程序媛面试头条经验
2401_84185182的博客
05-13 926
1.BOOTPROTO设置为static，表示IP为静态的。2.GATEWAY设置为上一步查询到的实际网关地址。3.IPADDR设置为网关所在的网段，这里查到的网段为10.90.100.0。
Hadoop 完全分布式搭建（超详细）
热门推荐
JIE的博客 --- moon_coder
10-24 3万+
到此为止，我们的 Hadoop 完全分布式就已经搭建完成啦！
hadoop完全分布式安装心得
zfboyyy的博客
09-18 1884
1.  虚拟机的克隆 克隆后需要做的事: (1)   虚拟机改ip地址 vim/etc/udev/rules.d/70-persistent-net.rules 删掉eth0,把eth1改为eth0 (2)   配置网卡 vim/etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 TYPE=Ethernet UUID=564d
hadoop完全分布式集群安装
m0_67394002的博客
09-02 1062
总而言之，这是一种非对称算法，想要破解还是非常有难度的。老实说，我的本本配置显然不够好，原配只有2G内存，但是安装hadoop集群时实在是很让人崩溃，本人亲身体验过后实在无法容忍，所以后来再扩了2G，虽然说性能还是不够好，但是学习嘛，目前这种配置还勉强可以满足学习要求，如果你的硬件配置比这要高是最好不过的了，如果能达到8G，甚至16G内存，学习hadoop表示无任何压力。基本条件准备好了，后面要干实事了，心急了吧，呵呵，别着急，只要跟着本人的思路，一步一个脚印地，一定能成功布署安装好hadoop集群的。
Hadoop完全分布式安装（Centos7+Hadoop2.5.0）
fang.lovest.yang的博客
07-29 951
Hadoop部署模式 Hadoop部署模式有：本地模式、伪分布模式、完全分布式模式、HA完全分布式模式。 区分的依据是NameNode、DataNode、ResourceManager、NodeManager等模块运行在几个JVM进程、几个机器。 模式名称 各个模块占用的JVM进程数 各个模块运行在几个机器数上 本地模式 1个 1个 伪分布式模式 .
任务一：Hadoop 完全分布式安装配置
ccbbaaap的博客
06-01 313
​ 在伪分布模式的基础上，前面已经将创建好用户、安装ssh服务、安装配置Java环境等，作为Master节点，配置好后需要在各个节点上执行如下命令，测试是否相互ping得通，如果pig不通，后面就无法顺利配置成功。检验免密码是否配置成功（成功后是不用输密码即可登录，同时执行 exit 即可返回到原来的终端）Ps: 在三台虚拟机上的 /etc/profile 文件都需要配置ok。两台虚拟机作为slave节点（分别是Slave1、Slave2）以上在所有节点上都需要完成网络配置。
Hadoop完全分布式部署
weixin_52626164的博客
08-06 2692
host映射：这里是把三个Linux的ip地址保存到三个虚拟机去，相当于我们自己在手机里面存别人的电话号码 一样的道理，这样相互之间就知道对应ip地址的机器是哪一台。所以这个操作也是要在三台虚拟机都要 进行的。给ip地址起名字，几个机器需要互相连通，这样在连接几台机器的时候只需要使用机器名就行，不需要使用ip地址。...
Hadoop完全分布式安装教程
03-20
Hadoop完全分布式安装教程 本文档旨在指导用户完成Hadoop的完全分布式安装，涵盖了从虚拟机安装到Hadoop配置文件的详细步骤。本教程适合初学者和中级用户，旨在帮助他们快速掌握Hadoop的安装和配置。 一、Hadoop...
Hadoop技术-Hadoop完全分布式安装.pptx
11-02
"Hadoop技术-Hadoop完全分布式安装" Hadoop技术是当前最流行的分布式计算框架之一，广泛应用于数据存储、数据处理和数据分析等领域。Hadoop完全分布式安装是指在多台机器上安装和配置Hadoop，以便更好地处理大规模...
hadoop完全分布式安装配置
05-24
总的来说，Hadoop2.7.6的完全分布式安装配置涉及到多个步骤，包括环境准备、下载安装、配置文件修改、服务启动和验证。这个过程虽然繁琐，但完成后，你将拥有一个强大的分布式大数据处理平台，能处理PB级别的数据。...
hadoop完全分布式安装步骤
09-29
hadoop完全分布式安装步骤 实验环境为VirtualBOx虚拟机
Hadoop、Hive、HBase、数据集成、Scala阶段测试
最新发布
m0_58050808的博客
07-24 1208
ResourceManager 是 YARN 架构中的核心组件之一，负责接收客户端提交的作业（如 MapReduce 任务、Spark 任务等），并为这些作业分配资源（如内存、CPU）以在集群中的 NodeManager 上执行。spark的任务调度流程：driver端，遇到action算子触发任务执行，将任务提交到有向无环图，DAGscheduler中，根据RDD的血缘关系划分划分stage，将RDD中的分区封装成taskset任务，发送到TASKscheduler。
大数据处理：大数据处理框架Hadoop、Spark
Chujun123528的博客
07-24 940
大数据处理是当代信息技术领域的一个重要分支，它涉及到海量数据的存储、管理和分析。为了高效地应对大数据处理的挑战，多种框架被开发出来，其中Hadoop和Spark是最为知名和广泛应用的两种。以下将详细介绍这两种框架以及它们在大数据处理中的应用和优势。
Apollo使用（3）：分布式docker部署
游王子的博客
07-24 725
Apollo 1.7.0版本开始会默认上传Docker镜像到，可以按照如下步骤获取。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值