CDH部署HDFS、zookeeper、Yarn

最新推荐文章于 2024-05-23 17:22:29 发布
最新推荐文章于 2024-05-23 17:22:29 发布
阅读量435 收藏
点赞数
分类专栏： 大数据运维工作 文章标签： java-zookeeper hdfs zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huaicainiao/article/details/125803945
版权

之前已经安装部署成功CM，现在需要在上面部署hdfs、zookeeper和yarn，让集群跑起来，之前的安装可以参考
CDH安装部署

1、分配节点

主要配置这几部分
在这里插入图片描述

2、集群设置全选默认即可

在这里插入图片描述

3、自动启动进程

在这里插入图片描述
至此，安装完成，进行一些配置的修改

4、修改HDFS的权限检查配置

关闭HDFS中的权限检查，dfs.permissions
在这里插入图片描述
在这一列稍微下一点的位置
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5、配置NameNodeHA

5.1、进入hdfs页面点击启用high avaliablity

因机器数量过少，也是因为纠删码原因，环境已经有不少隐患，因此只说如何配置，并不进行真正的HA配置

在这里插入图片描述

5.2、命名

给HA起名

5.3、分配角色

选择服务器

5.4、审核更改

在这里插入图片描述

5.5、等待服务启动

6、配置yarn HA

仅提供操作 不实操
在这里插入图片描述
其余的和NameNode操作相似

菜鸟也有梦想啊
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据-2：Hadoop生态以及HDFS部署
Fancyll_Lee的博客
09-23 377
文章目录1. Haoop简介2. 安装单机版Hadoop3. Hadoop运行3.1 独立运行/Local (Standalone) Mode3.2 伪分布式集群/Pseudo-Distributed Mode3.3 全分布式集群/Fully-Distributed Mode 1. Haoop简介 MFS作为分布式文件系统，有很强的灵活扩展性，常用于网盘等；但做数据挖掘，分析用户数据时，常用Hadoop生态下的HDFS文件系统； HDFS起源于GFS，GFS为Google的分布式文件系统Google Fi
搭建CDH后，hdfs的权限问题设置
weixin_48370579的博客
07-08 251
搭建CDH后，hdfs的权限问题 问题描述：搭建cdh集群后，在hdfs中创建文件报错：Permission denied: user=root, access=WRITE, inode=“/“:hdfs:supergroup:drwxr-xr-x 即使使用root账户也是一样。 无论是用sudo hadoop dfs -mkdir 建立文件 还是 put文件，都会显示，同样的错误！！ 经过百...
2 CDH 部署hadoop
三成的博客
02-02 738
1. 部署环境 CDH是Cloudera公司对整体hadoop集群环境进行监控与管理的企业级大数据管理平台。 Cloudera Manager分为： Cloudera Manager Server：对整个集群提供监控与管理操作。Cloudera Manager Server通过部署在不同设备上的Cloudera Manager Agent进行管理整体集群。Cloudera Manager Server需要部署在一台设备上。 Cloudera Manager Agent：部署在每个需要监控与管理的设备上。
CDH 6.3.2安装部署（超详细）
最新发布
2201_75470972的博客
05-23 2227
超级详细的cdh6.3.2安装部署教程
hadoop+zookeeper+yarn搭建高可用完全分布式环境详细步骤
web13618542420的博客
08-16 634
前提准备3台centos7.0虚拟机。
CDH6.2.1 hdfs 高可用配置
我思，顾我在
10-22 1247
1.先进入HDFS集群的管理界面 2. 启用 HDFS 的 High Availability 3. 自定义名称 4. 分配角色 5. JournalNode 编辑目录 6. 启用 High Availability 命令 7. 访问Web UI
Hadoop CDH5.5.0 配置（Hdfs/Yarn HA）
12-18
CDH5.5.0是CDH的一个版本，包含了Hadoop的多个组件，如HDFS、YARN等，并且提供了方便的图形化安装和配置工具，使得部署和管理Hadoop集群变得更加便捷。 在CDH5.5.0中，HDFS（Hadoop Distributed File System）和...
zookeeper-3.4.5-cdh5.16.2.tar.gz
01-14
- **Hadoop**：Zookeeper用于管理HDFS的NameNode选举，以及YARN的ResourceManager和服务发现。 - **HBase**：依赖Zookeeper进行RegionServer的监控和负载均衡，以及表和Region的元数据存储。 - **Hive**：利用...
zookeeper-3.4.5-cdh5.16.1.tar.gz
10-22
Zookeeper广泛应用于Hadoop生态中的其他组件，如HBase、HDFS、YARN等。例如，在HBase中，Zookeeper用于管理RegionServer的分配和监控，而在YARN中，它协助ResourceManager进行应用管理和资源调度。 总之，Zookeeper...
zookeeper-3.4.5-cdh5.10.0.tar.gz
05-12
在CDH 5.10.0中，Zookeeper的集成使得Hadoop的HA（High Availability）功能得以实现，例如HDFS的NameNode热备、YARN的ResourceManager热备等。当主节点故障时，Zookeeper能够快速进行选举，确保服务的无缝切换。 总...
zookeeper-3.4.5-cdh5.5.0.tar.gz
01-07
在CDH 5.5.0中，Zookeeper是Hadoop生态系统的基石，它为HBase、HDFS、YARN等组件提供了关键的协调服务。例如，HDFS的NameNode依赖Zookeeper来维护元数据的主备状态，YARN的ResourceManager通过Zookeeper来选举和跟踪...
Hadoop-2.8.1+Zookeeper-3.4.6(HDFS,YARN HA)部署指南
12-26
Hadoop-2.8.1+Zookeeper-3.4.6(HDFS,YARN HA)部署指南
CDH6.3.2 HDFS、YARN、Zookeeper安装
程志伟的博客
03-07 2437
关注微信公共号：小程在线 关注CSDN博客：程志伟的博客 HDFS、YARN、Zookeeper安装 1.1 选择自定义安装 1.2 选择安装服务 1.3 分配节点 1.4 集群设置全部选默认即可 1.5 自动启动进程 1.6 修改HDFS的权限检查配置 关闭HDFS中的权限检查：dfs.permissions。 1.7 配置NameNode HA 1）进入HDFS页面点击启用High ...
cdh客户端部署
weixin_42529806的博客
07-27 2518
cdh客户端部署 1. 服务器准备 linux服务器CentOS7 2. 安装jdk1.8 基本操作，这儿就不做介绍了 3. 下载CDH的parcels包 下载版本（这儿展示CDH6.1.0的，其他版本操作也一样的） cdh6.1.0 parcels下载地址,这儿建议挂代理下，否则可能有点慢，差不多1.9G 4. 上传parcels包到CentOS7服务器上 mkdir -p /opt/cloudera/parcels cd /opt/cloudera/parcels rz 上传刚才.
Hadoop之CDH安装
热门推荐
dongyunlon的专栏
03-30 2万+
1. 离线数据存储及查询环境部署 离线数据的存储与查询主要是以hadoop为中心的技术栈，包括hive，hbase，hue，kylin等。部署hadoop的方式比较流行的主要有三种： 1. 直接部署Apache Hadoop，即手工部署，需要自己配置，协调版本兼容等，好处是能够加深理解，但是过程较繁琐。 2. Ambari ：Hortonworks的产品，用于创建，管理，监视hadoop集群...
CDH HDFS 概念集合
freeRoad
04-14 2200
Maintenance Mode 节点进入维护模式，不再接受写入请求，临时离开下很快回来。 基本不转移节点上的数据（除非其他节点上都没有该数据副本）需要很短时间。 HDFS Maintenance State_Android路上的人的博客-CSDN博客前言初一看文章标题，很多人可能比较奇怪“HDFS Maintenance”是什么意思，“HDFS包含”的意思？首先Maintenance这个形似Maintain的单词可不是什么包含的意思，它的解释是维护，维修。那么HDFS Maintenance具体是什
YARN 高可用（HA）集群搭建（CDH）
leifeng100200的博客
09-28 1424
详尽的视频讲解，请查看该地址：https://edu.csdn.net/course/detail/9572 HDFS 高可用集群安装完成之后，紧接着快速搞定YARN的集群搭建。 1.修改YARN配置文件 1.1修改yarn-site.xml <configuration> <property> <name>yarn.resourcemanager....
CDH里HDFS的HA配置
热爱生活，忠于自己
10-28 778
b、对于每个 Hive 服务 Hive，停止 Hive 服务，将 Hive Metastore 数据库备份到永久性存储中，运行服务命令"更新 Hive Metastore NameNodes"，然后重启 Hive 服务。（1）选择作为HA的机器，这些机器都要新建一个journalnode文件夹，并给它赋权限（安装journalnode的所有节点上，此处是5个节点）（1）HA的主机选择 n5 （n5和n1的配置是一样的，作为namenode的HA）1、在正常启动的CDH集群上，点击左边的 HDFS。
CDH环境HDFS权限问题(root 赋值hdfs 用户权限)
weixin_40809627的博客
08-05 2904
CDH环境下Hadoop平台最高权限用户是hdfs，属于supergroup组。默认HDFS会开启权限认证，所以操作时，需要将root用户切换到hdfs用户，否则会报错。 解决问题 ： 1、单独安装的软件没有(root 用户安装 没有hdfs权限) 2、Hive和HBase读写hdfs，也很容易因为权限问题导致出错。 解决方式 但是关闭权限检查，任何用户都可以操作HDFS数据，数据安全性又没有保障...
CDH5与CDH6对比.pdf
07-30
- Hadoop：从2.6.0升级到3.0.0，引入了Hadoop生态系统的新特性，如HDFS的增强和YARN的性能优化。 - Hive：从1.1.0升级到2.1.1，提高了查询性能和元数据管理能力。 - Spark：从1.6.0/2.3.0升级到2.4.0，增加了对新...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值