完全分布式集群的准备工作

最新推荐文章于 2024-04-21 18:46:28 发布
最新推荐文章于 2024-04-21 18:46:28 发布
阅读量101 收藏
点赞数
分类专栏： Hadoop 文章标签： 大数据 分布式 hadoop hdfs java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DTFT_/article/details/107160441
版权

1.规划

Hadoop中的进程在多台机器运行！

HDFS: 1个nn+N个DN
n个2nn
YARN: 1个RM+N个NM

避免单点故障，NN和RM建议分散到多台机器！
注意负载均衡

hadoop101hadoop102hadoop103
DNDNDN
NMNMNM
NNRM2NN

2.准备集群，安装JDK、hadoop

①克隆三台虚拟机
a)在每台机器的/etc/hosts中配置集群所有机器的ip和主机名的映射
b)提供普通用户，配置普通用户具有root权限
c)保证三台机器可以互相ping通
②安装JDK、hadoop，在一台机器安装，再将这台机器的软件复制到其他机器

孙晨c
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
ZooKeeper 完全分布式集群环境搭建.md
06-14
### ZooKeeper 完全分布式集群环境搭建知识点详解 #### 一、ZooKeeper简介与应用场景 - **定义**: ZooKeeper 是一个高性能且高度可靠的分布式协调服务框架，它为分布式应用程序提供了一种简单的方法来实现诸如数据...
hadoop的2.2.0完全分布式集群配置.pdf
01-08
完成了上述准备工作后，我们可以开始搭建Hadoop 2.2.0完全分布式集群。以下是具体的步骤： 1. **下载Hadoop软件包**：可以从官方网站或其他可信源下载Hadoop 2.2.0的压缩包，并解压至适当目录。 2. **配置Hadoop...
完全分布式准备工作
空杯心
02-06 206
 完全分布式安装 1、 角色分配 组件   linux01        linux02               linux03 HDFS   namenode      Secondarynamenode   HDFS   datanode        datanode             datanode Yarn                   resou
安装Hadoop集群的准备工作（详细附图）
yilulvxing的博客
02-23 5141
安装Hadoop,Spark集群步骤 ​ 在搭建Hadoop集群之前，已经在虚拟机上安装了三台Linux服务器，并且Linux的IP地址也已经配置好了，所以安装Linux服务器的过程省略了。本文主要讲述如何在此基础上，逐步搭建Hadoop环境。所有的软件以及配置信息，已经放在百度云上，可自行下载，欢迎交流！ ​ 设备信息：三台Linux服务器，SecureCRT远程连接工具，WinSCP远程文件传...
你真的会在Linux系统安装应用？
热门推荐
悟叭鸽
03-22 2万+
近来使用linux系统已久，但是有时候要安装软件时都是打开浏览器，输入：怎么样在linux上安装XXXX，对此颇感无奈，没办法，linux不像windows，直接下载然后鼠标点点点一步到底。因此，本篇文章将讲述如何一步一步在linux上安装软件，这里不是某个软件怎么安装的命令，而是通用的安装方法，从根本上解决问题才是我们应该做的。
weblogic12c下配置节点管理器管理受管理服务器
xu1314的专栏
12-11 1万+
目录[-] 一 环境准备如下二 node manager 配置过程三 问题 本文档基于Oracle官方文档OracleWebLogic Server 12c: Configuring and Using Node Manager，在此基础上实践后，经过整理后所得。旨在为weblogic12c下配置和使用nodemanager 提供指引。 一 环境准备如下 服务器情况：
集群搭建必看！初期准备工作！
CSDN1154366625的专栏
06-24 685
注：全文红色部分为待添加文件内容 绿色部分为格外注意的地方 //加粗部分为注释，复制命令时请不要一起复制 集群规划： 四台主机（host01, host02, host03, host04） IP 主机名 软件 进程 192.168.10.101 host0...
【Hadoop】完全分布式集群搭建
你不来，再美的天地，都狼藉 ~
03-23 7021
一学就会，Hadoop完全分布式（集群）搭建
Hadoop完全分布式集群搭建
最新发布
YYY7769的博客
04-21 1731
另外，只要运行过 HDFS，Hadoop 的 工作目录（本书设置为/usr/local/src/hadoop/tmp）就会有数据，如果需要重 新格式化，则在格式化之前一定要先删除工作目录下的数据，否则格式化时会 出问题。可以看出 HDFS 的数据保存在/usr/local/src/hadoop/dfs 目录下，NameNode、 DataNode和/usr/local/src/hadoop/tmp/目录下,SecondaryNameNode 各有一个目 录存放数据。这里使用第一种方法。
Hadoop完全分布式集群搭建（超详细）
qq_52868045的博客
11-22 5279
hadoop完全分布式，超详细的部署步骤。
一文快速学会hadoop完全分布式集群搭建，很详细
wish_you_luck的博客
11-20 5266
hadoop的启动模式有三种，一个是本地模式，一个是伪分布式模式，还有一个是集群模式。为了学习hadoop，这里需要搭建一个完全分布式的集群。希望你先把准备工作给看一下，因为我们的配置都是前后一致的。本文因为想让大家学习一下集群分发脚本，所以在模板虚拟机里面少放了很多东西，以后会写一个快速搭建集群的教程。在下一大点，我们用了一个分发脚本。在使用分发脚本传输文件时，必不可少的一项流程是登录到目标机器,也就是要输入密码(可以先试一试第五点的集群分发脚本来体会为什么要设置ssh免密登录)，
完全分布式Hadoop集群搭建
黑伴白的博客
05-05 4995
Hadoop集群完全分布式搭建
Hadoop搭建完全分布式集群
12-11
本篇文章将深入探讨如何搭建一个完整的Hadoop分布式集群，特别关注Java编程环境下的配置和操作。 首先，我们需要理解Hadoop的架构。Hadoop由两个主要组件构成：Hadoop Distributed File System (HDFS) 和 MapReduce...
hadoop HA高可用性完全分布式集群安装
11-05
### hadoop HA高可用性完全分布式集群安装 在大数据处理领域，Hadoop作为一个开源软件框架，主要用于分布式存储和处理大规模数据集。为了提高系统的稳定性和可靠性，Hadoop提供了高可用性（High Availability，简称...
hadoop完全分布式集群搭建笔记
09-22
本文详细介绍了Hadoop完全分布式集群的搭建过程，包括环境准备、网络配置、JDK安装与配置、Hadoop安装与配置以及集群启动和验证等关键步骤。通过这些步骤，可以成功搭建一个功能完备的Hadoop分布式集群，为后续的大...
linux中编写同步文件的脚本
Sun's Blog
07-06 1万+
搭集群最麻烦的就是修改配置文件，如果只用修改一个机器上的配置文件，然后用一个脚本就可以把配置文件同步到其他机器上，岂不快哉！ 编写一个名为xsync的脚本文件： 作用： 将当前机器的文件，同步到集群所有机器的相同路径下！ hadoop102:/A/a , 执行脚本后，将此文件同步到集群中所有机器的 /A/a 用户在使用xsync时，只需要传入要同步的文件即可 xysnc a 不管a是一个相对路径还是绝对路径，都需要将a转换为绝对路径！ 文件的绝对路径=父路径+文件名： 父路径： dirpath=$(cd
HDFS文件块大小为什么是128M？（重点）
Sun's Blog
07-07 3503
HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数(dfs.blocksize）来规定，默认大小在Hadoop2.x版本中是128M，老版本中是64M。 那么，问题来了，为什么一个block的大小就是128M呢？ 默认为128M的原因，基于最佳传输损耗理论！ 不论对磁盘的文件进行读还是写，都需要先进行寻址！ 最佳传输损耗理论：在一次传输中，寻址时间占用总传输时间的1%时，本次传输的损耗最小，为最佳性价比传输！ 目前硬件的发展条件，普通磁盘写的速率大概为100M/S, 寻址时间一般
scp（安全拷贝）和rsync（增量复制）
Sun's Blog
07-06 2166
1. scp（安全拷贝） 又称为全量复制，每次复制都会复制所有文件。 使用： scp -r 源文件用户名A@主机名1：path1 目标文件用户名B@主机名2：path2 -r: 递归，复制目录 执行过程： 在主机1上，使用A用户读取path1的文件 再使用用户B登录到主机2，在主机2的path2路径执行写入！ 要求： 用户名A@主机名1 对path1有读权限 用户名B@主机名2 对path2有写权限 2. rsync （远程同步） 可以只同步变化的文件(对比文件的修改时间)！增量同步！
NameNode是如何存储元数据的？
Sun's Blog
07-09 2024
1.NN的作用 保存HDFS上所有文件的元数据！ 接受客户端的请求！ 接受DN上报的信息，给DN分配任务(维护副本数)！ 2.元数据的存储 元数据存储在fsiamge文件+edits文件中！ fsimage(元数据的快照文件) edits(记录所有写操作的日志文件) NN负责处理集群中所有客户端的请求和所有DN的请求！在一个集群中，通常NN需要一个高配置，保证NN可以及时处理客户端或DN的请求，一旦NN无法及时处理请求，HDFS就已经瘫痪！ edits文件的产生： NN在启动之后，每次接受的写操
HBase完全分布式集群搭建指南
"这份文档详细介绍了如何搭建HBase的完全分布式集群，作者已经成功实践并强调步骤清晰，适合初学者。文档内容包括Hadoop、HBase和Zookeeper的基础知识，以及在搭建HBase前需要的准备工作，如JDK和Hadoop的安装。" ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

孙晨c

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值