CDH集群添加服务器或客户端

最新推荐文章于 2023-05-26 18:46:51 发布
最新推荐文章于 2023-05-26 18:46:51 发布
阅读量444 收藏
点赞数
文章标签： cloudera 大数据 hive hdfs spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ahbbwangpei/article/details/117329858
版权
本文档详细介绍了如何在已存在的CDH集群中添加服务器或客户端，包括遇到的坑点及其解决方案。主要问题涉及IP映射、主机名规范和根目录空间不足。解决方法包括更新hosts文件，调整主机名格式，以及通过软链接解决磁盘空间问题。
摘要由CSDN通过智能技术生成

CDH集群添加服务器或客户端

背景：

原集群已经存在，向原集群添加hbase，spark，hdfs，hive等客户端

坑点：

1）不能直接访问IP，IP进行了映射

         解决：将原IP和映射后IP都存于/etc/hosts中，具体内容如下

        10.160.241.223 hwhdp0111.test.com

       10.160.241.22 hwhdp0151.test.com

       10.160.241.101 hwhdp0161.test.com

       10.86.241.161 hwhdp0161.test.com

       10.86.241.151 hwhdp0151.test.com

       10.86.241.111 hwhdp0111.test. com

2）原主机名不符合规范

解决：修改主机名，cdh的命名要使用hwhdp0111.te

最低0.47元/天 解锁文章
ahbbwangpei
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
cdh部署
qq_36459386的博客
02-15 757
收费版本有自动回滚功能 centeros 7.2 cdh 5.12.0 MySQL 5.7.11 Jdk 1.8u121 python 2.7 yum install -y lrzsz [root@hadoop002 ~]# scp mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz root@172.26.165.129:/root [root@hadoop...
CDH集群部署手册(外)
10-09
大数据的存储，如果你想简单便捷的安装配置使用hadoop,hbase,hive等请参考该文档。文档中详细的记录了安装过程，并且简单实用。
CDH集群添加新服务器
最新发布
bnuib521的博客
05-26 563
把ntp服务加入到服务器启动中systemctl enable ntpd。在CM的管理界面，点击主机，Add Hosts 疯狂下一波即可添加完成。执行命令hostnamectl set-hostname sh-1。执行命令hostnamectl set-hostname sh-2。~/.ssh/authorized_keys到新机器上。可以执行ntpdc -np查看ntp运行情况。vim /etc/rc.local 添加。在13上修改文件/etc/hosts，修改sh-1跟sh-2的ntp配置文件。
CDH4集群远程客户端安装及配置
weixin_34368949的博客
08-03 439
远程客户端安装及配置1、远程客户端安装配置1)下载hadoop安装包安装在Client01机器上安装hadoop，和其他机器安装方式相同2)修改主机名# vim /etc/sysconfig/network修改为：HOSTNAME = Client011)修改hosts文件# vim /etc/hosts在文件中添加配置：192.168.12.10 Master2)系统环境变...
CDH客户端安装
weixin_34117211的博客
07-18 3795
为什么80%的码农都做不了架构师？>>> ...
CDH客户端部署
litlit023的专栏
01-26 2463
目录 1、下载cdh parcels包 2. 配置环境变量 3. 在客户端服务器上配置hosts文件 4.参考资料 1、下载cdh parcels包 下载 CDH-5.9.1-1.cdh5.9.1.p0.4-el7.parcel mkdir -p /opt/cloudera/parcels cd /opt/cloudera/parcels 上传刚才的的parcel包至/opt/cloudera/parcels目录 tar -zxvfCDH-5.9.1-1.cdh5.9.1.p0.4-el..
cdh6添加主机详解
我思，顾我在
09-11 1051
一、修改主机hostname 1、 hostnamectl set-hostname <new-hostname> 2、 vim /etc/hostname 二、安装jdk 下载并解压 下载地址：https://www.oracle.com/java/technologies/oracle-java-archive-downloads.html 解压: mkdir /usr/java tar -zxvf jdk-8u251-linux-x64.tar.gz -C /usr/java
大数据平台搭建 - cdh5.11.1 - hive客户端安装
weixin_30539625的博客
05-12 518
一、简介 hive是基于hadoop的一种数据仓库工具，可以将结构化的文件映射成为数据库的一张表，并提供简单sql查询功能，底层实现是转化为MapReduce任务计算。 二、安装 （1）下载 从cdh下载页下载 http://archive.cloudera.com/cdh5/cdh/5/ hive-1.1.0-cdh5.11.1.tar.gz 下载好后上传至服务器的/ho...
cdh安装注意及客户端安装
godspeedlaile9的专栏
09-02 2927
1：sudo  passwd  root 给root账户加密码 2： sudo apt
大数据平台CDH6.2.0客户端安装手册
qq_45360515的博客
11-09 1527
CDH6.2.0集群客户端安装手册
CDH6.2.0最全安装包
04-07
CDH6.2.0最全安装包，包括管理服务以及客户端软件，还包括mysql5.7的安装包。
CDH550@hive安装部署
11-14
cdh5.5.0下的hive的安装部署详细操作。hive的安装其实有两部分组成，一个是Server端、一个是客户端，所谓服务端其实就是Hive管理Meta的那个Hive,服务端可以装在任何节点上，当hive服务并发量不高时推荐部署在数据节点上，并发量高时推荐单独部署在若干台机器
Apache Hive in CDH优化
08-13
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 本人介绍如何在CDH中优化Hive，参考CDH文档翻译而来
CDH5.4.5 离线安装配置文档
06-04
CDH5.4.5 离线安装配置文档
CDH hive迁移测试
u013168566的博客
12-07 653
工作上有一个需求，要把整个hive 迁移到另一套环境上做一个测试。源环境的hdfs 没有做ha ，目标环境的hdfs 做了ha，完成工作后，整理过程为以下步骤： 1、把hive 的文件从hdfs 取出到本地，并打包，方便传输 hive 内表文件 hadoop fs -copyToLocal /user/hive/warehouse /root/warehouse hive 外表文件 hadoop ...
常见端口号用途说明
chuangquan2683的博客
02-16 899
　端口号的范围是从1～65535。其中1～1024是被RFC 3232规定好了的，被称作“众所周知的端口”(Well Known Ports)；从1025～65535的端口被称为动态端口（Dynamic Ports），可用来建立与其它主机的会话，也可由用户自定义用途。 一些常...
CentOS7安装CDH 第八章：CDH中对服务和机器的添加与删除操作
weixin_30664539的博客
05-15 338
相关文章链接 CentOS7安装CDH 第一章：CentOS7系统安装 CentOS7安装CDH 第二章：CentOS7各个软件安装和启动 CentOS7安装CDH 第三章：CDH中的问题和解决方法 CentOS7安装CDH 第四章：CDH的版本选择和安装方式 CentOS7安装CDH 第五章：CDH的安装和部署-CDH5.7.0 CentOS7安装CDH 第六章：CDH的管理-CDH...
cdh集群中添加新主机
萌兔兔MMQ！！
03-09 1398
一、新加机器环境配置python 首先得在新的主机环境中安装JDK，关闭防火墙、修改selinux、NTP时钟与主机同步、修改hosts、与主机配置ssh免密码登陆、保证安装好了perl和python。linux 二、上传cloudera-manager文件到/opt目录，修改agent配置文件：web vi /opt/cm-5.7.0/etc/cloudera-scm-agent/config.inishell server_host = Mastervim vim etc/cloudera-scm-ag
企业级Hadoop CDH5.13.1集群搭建指南
4. **CDH组件安装**：通过CM界面添加集群，选择安装的CDH组件，分配到各个节点。 5. **配置参数**：根据业务需求调整Hadoop相关配置，如HDFS的副本数，YARN的内存和CPU设置等。 6. **数据节点准备**：格式化HDFS，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值