CDH运维
文章平均质量分 72
潘永青
阿里云-北京ACE同城会成员、上市企业数据开发组组长、数据架构工程师
展开
-
企业级集群搭建方案建议(基于CDH )
集群规模取决于用户数据及应用需求,最终规划值为以下各种计算方式得出的最小集群规模的最大值・容量需求– 估算相对容易且准确– 大多数案例可以通过容量来决定集群规模・计算需求– 准确的估算计算资源只能通过小规模测试并合理估算・其他资源限制– 如用户 MapReduce 应用可能对内存等资源有特殊要求,且单节点可配置资源相对有限,则集群最小规模需满足用户此类资源要求・建议使用万兆网络或更高速度网络– 如要充分利用磁盘并行操作带宽,至少需要万兆网络。原创 2022-09-07 15:38:08 · 1118 阅读 · 0 评论 -
CPU配置|cpuinfo参数
物理CPU个数8每个物理CPU的核数4逻辑CPU的个数逻辑cpu个数=物理CPU个数×每颗核数32。原创 2022-07-25 10:19:57 · 2425 阅读 · 3 评论 -
CDH6.1.x手动安装Phoenix5.0
1、背景CDH6.2已经支持phoenix Parcel, 可以下载对应包后在CM界面化方式安装。CDH6.1 貌似没有集成phoenix。手动安装吧2、安装过程[root@cdh03 ~]# apache-phoenix-5.0.0-HBase-2.0-bin.tar.gz[root@cdh03 ~]# tar -zxf apache-phoenix-5.0.0-HBase-2.0-bin.tar.gz[root@cdh03 ~]# mv apache-phoenix-5.0.0-HB原创 2022-05-22 14:36:34 · 407 阅读 · 0 评论 -
基于Contos7.X+CDH6.2.0大数据平台搭建(上)
目录一、CDH6.2官网介绍二、CDH6.1.0安装前环境的部署三、CDH6.1.0安装四、CDH6.1.0的初始化五、CDH6.1.0的优化六、CDH6.1.0集群安装一、CDH6.2官网介绍:CDH(Cloudera's Distribution,including Apache Hadoop).是Haoop众多分支中的一种大数据,简称CDH,基于最稳定版...原创 2020-03-06 00:20:50 · 1275 阅读 · 0 评论 -
Linux 根目录爆满 解决
一、使用df -h命令查看,发现/根目录的剩余空间为0。总共系统盘容量才20G。文件系统 容量 已用 可用 已用% 挂载点/dev/mapper/centos-root 20G 20G 20k 100% /devtmpfs 7.7G 07.7G 0% /devtmpfs 7.7G 168K7.7G 1% /dev/shm...原创 2021-08-18 17:32:16 · 16242 阅读 · 0 评论 -
数据块丢失,Namenode无法退出安全模式的处理方案
1、背景 同时不小心删除了cdh的server 和namenode节点,具体怎么怎么恢复参考 文章。我操作完了之后,发现数据块有丢失如图。执行退出安全模式命令:hadoop dfsadmin -safemode leave 不管用,在cdh 管理平台操作,退出安全模式,也不管用。妈的。。。。2.解决方案执行 :hadoop dfsadmin -safemode forceExit查看哪些丢失了 :hdfs fsck -list-corruptfileblo...原创 2021-05-16 22:11:06 · 520 阅读 · 0 评论 -
基于CDH-6.2.0编译flink-1.12.1(Hadoop-3.0.0&Hive-2.1.1)
1、编译准备环境:jdk-1.8 maven-3.9 2、flink-1.12.1下载https://flink.apache.org/zh/downloads.html3、flink-shaded-12放flink-1.12.1的根目录,进入flink-shaded-12,修改pomx.ml添加 cloudera 的maven库:<!--添加CDH的仓库--><repositories> <re...原创 2021-01-30 13:58:52 · 1272 阅读 · 12 评论 -
cdh一些参考
CentOS7安装CDH 第一章:CentOS7系统安装CentOS7安装CDH 第二章:CentOS7各个软件安装和启动CentOS7安装CDH 第三章:CDH中的问题和解决方法CentOS7安装CDH 第四章:CDH的版本选择和安装方式CentOS7安装CDH 第五章:CDH的安装和部署-CDH5.7.0CentOS7安装CDH 第六章:CDH的管理-CDH5.12CentOS7安装CDH 第七章:CDH集群Hadoop的HA配置CentOS7安装CDH 第八章:CDH中对服原创 2021-01-24 14:35:49 · 198 阅读 · 0 评论 -
cdh6.2 yarn参数优化小记录(记录中)
一、闲扯 最近离线行车日志数仓,项目即将基于Lambda架构形式,实时基于flink框架,离线批处理基于 HiveOnSpark。中期基于这个机构。最后版本定位FlinkSQL 批流一体化。测试环境基于阿里云搭建的CDH。目前准备跑一下测试的flin实时作业和spark作业。内存有限,所以做了相关调整。略记录一下二、正题1、yarn.nodemanager.resource.memory-mb表示该节点上YARN可使用的物理内存总量,默认是8192(MB),注意,如果你的节点内存资源不够.原创 2021-01-24 11:57:03 · 1313 阅读 · 2 评论