CDH 由单机版本的扩容

最新推荐文章于 2024-04-13 16:02:30 发布
最新推荐文章于 2024-04-13 16:02:30 发布
阅读量968 收藏
点赞数
分类专栏： cdh 文章标签： cdh
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/vbaspdelphi/article/details/53169306
版权

  • 首先，我们是一台单机版本的CDH

  • 加入我们打算迁移namenode到其他的主机
    那么会得到提示，必须首先是HA
    稍后你还会得到提示，要想HA，必须得有三个JN，也就是JournalNode

升级完成后的集群，有两个NN，三个JN
这里写图片描述

升级的时候，会有服务重启的现象，导致HDFS有短暂不可用的时候，大概几分钟吧。
这里写图片描述

JN节点在扩容的时候，需要指定目录，虽然有默认，但是你不填是不会放你过去的
这里写图片描述

这里写图片描述

下面两张图是把单机版本扩容成三机版本的时候，需要扩容NN和JN的选择图片：

这里写图片描述

这里写图片描述

这里写图片描述

  • 扩容完了HDFS的HA，那么ZK也要扩容了，在主界面会有提示

这里写图片描述

LifeSecret
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CDH单机版搭建
qq_40919536的博客
04-08 3765
1.centos7查看ip命令 先将/etc/sysconfig/network-scripts/ifcfg-eno16777736下的 ONBOOT=no改为：ONBOOT=yes 重启服务 service network restart 用ip addr 方式查看 2.设置静态ip： 参考地址：https://www.cnblogs.com/hongdada/p/666693...
CDH6.2.0部署
yeyiboy的博客
09-15 246
https://www.cnblogs.com/mylovelulu/p/10384732.html https://blog.csdn.net/wolf_333/article/details/89071203 1、yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server 2、cd /opt/cloudera/parcel-repo （1）将第一部分下载的CDH Parcel文件..
cdh添加新的节点扩容
qq_27552579的博客
05-18 778
今天公司现有的6台服务器cdh已经满了，现在需要扩容，第一次用cdh 在生产环境使用 jdk 安装， yum 源安装 ntp 安装
CDH 集群离线部署、大数据组件安装与扩容详细步骤(cdh-6.3.1)
一只小白
09-13 1162
CDH在实际集群部署中，需要先搭建cm-server服务，然后在各个节点部署cm-agent服务。难点全部在cm-server服务搭建阶段和cm-agent环境初始化。后面涉及到大数据组建的搭建全部是在CDH页面操作，大家可以多摸索摸索使用。
cdh集群搭建(6.3)
前方的路在刚开始
07-19 3934
6.3是社区的免费版，再往后是收费版，目前官方已经取消了地址，大家可以从我下面给出的地址中获取,云服务器12月到期，我不打算继续续费（一年2000，2MB下载速度，大家觉得下的慢，可以联系我，提供赞助，只要钱够，想要多快的服务器，阿里都提供）我打算全部删除，重新来一次，文档要修改的非常细，这样我以后就可以3小时内搭完。硬件要求官方建议，主节点内存32GB，2核心以上，从节点16GB，2核以上。文档老了，花了2天，解决完所有bug，先来一张图。虚拟机化测试，官方建议，社区版，，企业版最低要求，10G。....
CDH--Cloudera Manager集群自动化安装，集群扩容
.
09-25 1459
1、官网介绍: CDH是Cloudera的100％开源平台发行版，包括Apache Hadoop，专为满足企业需求而构建。CDH提供开箱即用的企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成，Cloudera创建了一个功能先进的系统，可帮助您执行端到端的大数据工作流程。 简单来说：CDH是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件），使得集群的安装可以从几天的时间缩短为几个小时，运维人数也会从数十人降低到几个人，极大的提高了集群管理的效率。 ...
CDH6.3.2部署文档
weixin_53486405的博客
01-13 467
操作系统：Centos7CM：6.3.1CDH：6.3.2JDK：1.8服务器配置：服务器名称CPU内存磁盘Cdh14核10G100GCdh24核4G50GCdh34核4G50GCMCDHMySql#关闭并禁用防火墙#关闭并禁用 NetworkManager#重启网络服务#查看IP地址ip addr# ping 内外网#临时关闭 selinux#永久关闭 selinux#验证ssh-keygen -t rsa #按三次回车。
CDH6.2.1 开源版本下载
10-20
CDH6.2.1 +CM6.2.1开源版本下载
cdh6.2.1+cm6.2.1 开源免费版本
10-20
cdh6.2.1+cm6.2.1 开源免费版本
CDH跨版本升级
08-23
Cloudera Distribution Including Apache Hadoop (CDH) 是一个基于Apache Hadoop的企业级大数据平台，由Cloudera公司提供支持与维护。在企业环境中，随着业务需求和技术演进，可能会面临CDH版本升级的需求。本文档...
CDH6.3.2版本安装源文件
06-21
CDH（Cloudera Distribution Including Apache Hadoop）是由Cloudera公司提供的一个全面的大数据处理平台，它包含了多个开源项目，如Hadoop、Spark、Zookeeper等，为企业提供了一站式的解决方案。CDH6.3.2是这个平台...
CDH 6.3.2 版本安装包
11-17
Hadoop平台 CDH 6.3.2 版本安装包
大数据平台搭建------CDH单机部署
一个编码爱好者的博客
04-27 1978
转载https://blog.csdn.net/sinat_32176947/article/details/79591449?utm_source=blogxgwz3 一、部署前的准备 1、检查jdk是否安装：参考jdk安装配置文档（jdk7或jdk8，所有节点都要一致） 2、兼容性建议：CentOS6.8+CDH5.11.x(x>1)+mysql5.x+jdk1.7u80 ...
CDH集群离线部署-6.3.1
第一片心意的博客
06-21 1443
CDH6.3.2 安装文档。
hdfs集群的扩容和缩容
huan的学习记录
04-04 961
当我们的hadoop集群运行了一段时间之后，原有的数据节点的容量已经不能满足我们的存储了，这个时候就需要往集群中增加新的数据节点。此时我们就需要动态的对hdfs集群进行扩容操作(节点服役)。
Hadoop环境搭建（离线部署CDH版本）
helloWorld的博客
01-29 1485
相比于传统Hadoop繁琐的配置文件与版本管理，CDH提供了一个可以在线搭建Hadoop等组件的集群的系统。只需要现在本地配置好jdk等环境并安装好CM Server和CM Agent服务即可在UI界面控制集群。
CDH6.2.0-集群扩容(添加新节点)
永青技术博客
06-08 4113
向CDH6.2.0集群中添加新的主机节点 一、新节点基本环境准备 1、首先得在新的机器上关闭防火墙、修改selinux、NTP时钟与主机同步（阿里云忽略此步骤） 2、在新的机器上环境中安装JDK、修改hosts、与主机配置ssh免密码登录、保证安装好了perl和python. 3、上传cloudera-manager文件到/opt目录 [root@xx-xx cloudera-repos]# ls cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm
CDH 6.3.2-1 离线安装部署（Centos7.9）
小强签名设计 的博客
12-27 945
  三台服务器都操作： 三、安装 Cloudera-Manager 四、访问 Cloudera Manager 五、集群异常信息解决 参考： Linux搭建Cloudera Manager+CDH6.3.1环境
超简单的CDH6部署和体验(单机版)
最新发布
m0_72758098的博客
04-13 762
我们总是喜欢瞻仰大厂的大神们，但实际上大神也不过凡人，与菜鸟程序员相比，也就多花了几分心思，如果你再不努力，差距也只会越来越大。面试题多多少少对于你接下来所要做的事肯定有点帮助，但我更希望你能透过面试题去总结自己的不足，以提高自己核心技术竞争力。每一次面试经历都是对你技术的扫盲，面试后的复盘总结效果是极好的！《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！力，差距也只会越来越大。
CDH磁盘挂载及磁盘扩容
09-18
CDH磁盘挂载及磁盘扩容可以通过以下步骤完成： 1. 确认硬盘已经添加到服务器上，并且硬件已经被识别。可以使用命令 `fdisk -l` 查看服务器上的硬盘信息。 2. 对于新添加的硬盘，需要进行分区和格式化。可以使用命令 `fdisk /dev/sdX`（X为新添加的硬盘标识，如sdb、sdc等）进入分区工具，按照提示进行分区操作。完成分区后，使用命令 `mkfs.ext4 /dev/sdX1`（X为新添加的硬盘标识，1为第一个分区）格式化分区。 3. 创建一个目录作为挂载点，例如 `/data`，可以使用命令 `mkdir /data` 创建。 4. 使用命令 `mount /dev/sdX1 /data` 将新添加的硬盘挂载到 `/data` 目录下。如果需要在系统启动时自动挂载，可以在 `/etc/fstab` 文件中添加一行 `/dev/sdX1 /data ext4 defaults 0 0`。 5. 确认挂载成功，可以使用命令 `df -h` 查看挂载点 `/data` 的文件系统。 如果需要扩容已挂载的磁盘，可以按照以下步骤进行： 1. 确认硬盘已经添加到服务器上，并且硬件已经被识别。 2. 使用命令 `parted /dev/sdX`（X为已挂载的硬盘标识，如sdb、sdc等）进入分区工具。 3. 输入 `resizepart 1` 命令来调整已挂载磁盘的分区大小。 4. 输入 `quit` 退出分区工具。 5. 使用命令 `resize2fs /dev/sdX1`（X为已挂载的硬盘标识，1为第一个分区）来调整文件系统大小。 完成上述步骤后，已挂载磁盘的容量就会扩大。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值