![](https://img-blog.csdnimg.cn/20210625170647436.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据-cdh
文章平均质量分 82
cdh
根哥的博客
big world needs big-data-manager !
展开
-
CDH 端口未授权访问:hdfs-50070, yarn-8088, jetty漏洞修复
【代码】CDH 端口未授权访问:hdfs-50070, yarn-8088, jetty漏洞修复。原创 2022-10-05 15:53:14 · 5089 阅读 · 15 评论 -
CDH集群中安装kylin:code 1 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
下载cdh版的kylin tar包: http://mirrors.tuna.tsinghua.edu.cn/apache/kylin/apache-kylin-2.6.1/apache-kylin-2.6.1-bin-cdh60.tar.gz 注: 此版本kylin依赖jdk81, 配置环境变量export JAVA_HOME=/usr/java/jdk1.8export KYLIN_H...原创 2019-04-03 11:54:25 · 1273 阅读 · 1 评论 -
Centos 配置ulimit,限制用户资源
hdfs用户提交spark任务到yarn上报错:OutOfMemoryError: unable to create new native threadjava.lang.RuntimeException: java.lang.OutOfMemoryError: unable to create new native thread at org.apache.hadoop.hba...原创 2019-07-10 13:22:13 · 2024 阅读 · 0 评论 -
自定义CDH parcel
文章目录1, 概念介绍: cloudera-manager, parcel,csd2, 自定义parcel: 把jar包封装为parcela, 生成parcelb, 生成csd jar包c, 部署服务到cloudera-manager1, 概念介绍: cloudera-manager, parcel,csd名称含义parcel普通tarball + metadata ( xx_env.sh ,parcel.json, alternatives.json )csd原创 2021-06-02 10:08:10 · 1536 阅读 · 1 评论 -
CDH 组件升级:zookeeper升级到 3.4.14
1, 存在的问题Apache ZooKeeper 3.4.10之前版本、3.5.0-alpha版本至3.5.3-beta版本,在身份验证/授权检测实现中存在安全漏洞,可使任意端点加入群集,修改内容https://www.linuxidc.com/Linux/2018-05/152640.htm2, 升级a, 查看现有的版本,和启动过程[root@test-c6 ~]# echo stat|nc localhost 2181Zookeeper version: 3.4.5-cdh5.12.0原创 2021-05-26 11:53:17 · 3137 阅读 · 1 评论 -
CDH主机下线
文章目录1,配置hdfs, hbase: 提高下线速度2,主机:进入维护模式3, 主机解除授权: Decommission(退役)解除授权的操作细节hdfs 数据转移hbase数据转移参考:https://docs.cloudera.com/documentation/enterprise/5-12-x/topics/cm_mc_decomm_host.html1,配置hdfs, hbase: 提高下线速度########## hdfs ##############依据迭代设置复制工作乘数器dfs原创 2020-11-24 14:10:01 · 855 阅读 · 0 评论 -
Cloudera Manager安装streamsets
1, 下载streamsets的parcel文件parcel下载地址: https://archives.streamsets.com/datacollectorparcel使用cloudera manager安装文档:https://streamsets.com/documentation/datacollector/3.16.x/help/datacollector/UserGuide/Installation/CMInstall-Overview.html#concept_nb5_c3m_25原创 2020-10-13 15:02:59 · 995 阅读 · 0 评论 -
Cloudera Manager : REST API
1, api使用指南总览:http://test-c6:7180/static/apidocs/quickstart: http://test-c6:7180/static/apidocs/tutorial.htmla, 查看集群信息[root@test-c6 ~]# curl -u admin:admin 'http://localhost:7180/api/v1/clusters'{ "items" : [ { "name" : "Cluster 1", "version"原创 2020-09-28 10:01:46 · 2488 阅读 · 4 评论 -
Ansible批量安装CDH集群:离线
文章目录1, 规划概览a, 服务拆分:多个小角色b, 目录结构,使用帮助2, 具体操作内容3, 具体模板内容1, 规划概览a, 服务拆分:多个小角色b, 目录结构,使用帮助[vagrant@c7 ansible-cdh-el7-playbook]$ tree.├── ansible7.tar├── group_vars│ └── all├── help.txt├── hosts├── hosts-cdh -> roles/common/files/hosts├── ins原创 2020-05-14 16:42:58 · 1773 阅读 · 0 评论 -
CDH启用kerberos认证
文章目录1,集群架构2, 安装kerberos服务3, CDH集群启用kerberosa, Administrator: securityb, Enable Kerberosc, 确认并勾选d, 填写kdc信息e, 略过CDH管理kerberos, 填写CDH管理员账号4, 使用kerberos认证,调用hive,hbase等服务1,集群架构角色主机ipkerberos软件包说明...原创 2020-01-20 10:52:59 · 6544 阅读 · 0 评论 -
CDH集群: 数据恢复/备份
为防止hadoop集群因version等元数据丢失导致启动报错Namenode not format, 而使得所有数据丢失,需要数据业务备份使用CDH的数据主要为hive, hbase的各表,所以仅需要备份hive,hbase数据(以待hadoop重新格式化后无数据)测试hdfs重新格式化,数据恢复说明1: hdfs手动重新格式化后,/目录没有任何数据, 此时需要创建相关的基本目录:(...原创 2020-01-13 12:36:42 · 3279 阅读 · 0 评论 -
恢复HDFS服务: 删除了VERSION文件
需求: 由于服务器被攻击,hdfs集群的VERSION文件被删除,看似集群正常运行,但遇到修改配置,需要重启hdfs服务时,就会报错(namenode 未格式化)1, 查看VERSION文件格式: namenode, datanode文件字段内容dn/current/VERSIONstorageID, clusterID,datanodeUuid,storageTyp...原创 2019-11-08 15:02:38 · 2434 阅读 · 0 评论 -
cdh集群mapreduce任务卡住不动
yarn 的架构ip角色192.168.56.151nodemanager192.168.56.152resourcemanager,nodemanager正常提交的yarn任务2019-09-22 21:14:34,310 INFO org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImp...原创 2019-09-22 23:11:20 · 2053 阅读 · 1 评论 -
CDH集群更换ip,主机名
1, CDH集群:更换节点iphdfs --> 集群更换ip后,可以自动识别,并重启生效,服务正常运行yarn --> 集群更换ip后,nodemanager可以正常运行,但是resourcemanager启动失败 :解决:删除resourcemanager --> 角色切换到另一个节点,重启即可正常运行2, CDH集群:更换主机名cloudera-scm-se...原创 2019-09-12 19:36:31 · 1529 阅读 · 4 评论 -
CDH安装: tar包+parcel
修改hdfs超级用户: rootcloudera安装hdfs后,默认的配置System User是hdfs, 修改root用户,重启会报错:/var/run/hdfs-sockets权限问题(由于是旧的用户占用了socket,所以删除就行)#java.io.IOException: the path component: '/var/run/hdfs-sockets' is owned ...原创 2018-08-28 22:21:48 · 3491 阅读 · 2 评论 -
CDH 安装hue
1, 查看具体报错原因: libmysqlclient_r.so.16: cannot open shared object file: No such file or directorytail -f /opt/cloudera*/logs/cloudera-scm-server/cloudera-scm-server.log ,查看报错信息如下: exec /opt/cloudera/p...原创 2019-06-06 01:02:47 · 5317 阅读 · 1 评论 -
CDH 中hbaese, mapreduce内存控制
1, hbase启动失败:OutOfMemoryError由于内存不够,导入大批量数据时发生内存溢出,所以需要调整内存分配1,在浏览器打开7180集群管理界面,进入到hbase–>配置–>输入框搜索:java2,mapreduce运行卡顿查看/var/log/ hadoop-cmf-yarn-JOBHISTORY-node1.cluster.log.out ,提示gc频繁,所...原创 2019-02-24 11:00:34 · 1283 阅读 · 0 评论 -
hbase错误排查/数据恢复
1,hbase表:数据结构2,hbase报错集由于region发生split, regionserver暂忙,停止了服务,而数据还在往旧的region中插入,导致如下各种错误==>解决办法:第一步: 备份hdfs的表数据(hdfs dfs -mv /hbase/data/default /hbase.back)第二步: 删除hdfs中的hbase数据目录的全部数据 (hdfs...原创 2019-03-08 11:21:10 · 5222 阅读 · 0 评论 -
CDH安装: rpm包+parcel
1,cm 的rpm 包下载地址:a, http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.16/RPMS/x86_64/b, archive.cloudera.com/cm5/installer/5.16.1/cloudera-manager-installer.bin2, 安装rpm包install-cdh.sh#安装jdkr...原创 2019-03-21 15:04:18 · 2894 阅读 · 0 评论 -
CDH中yarn内存控制
1, ResourceManager 内存----内存(MB)---yarn.scheduler.minimum-allocation-mb默认 1024MByarn.scheduler.maximum-allocation-mb默认 8192MB----cpu个数---yarn.scheduler.minimum-allocation-vcores...原创 2019-04-26 10:26:24 · 2022 阅读 · 0 评论 -
cloudera-manager从tar包安装启动转rpm安装启动
1,两种安装方式: cm-tar包,cm-rpm包cm-tar包1, cloudera-manager-el6-cm5.12.2_x86_64.tar.gz|cm-tar包1, cloudera-manager-agent-5.12.2-1.cm5122.p0.12.el6.x86_64.rpm2, cloudera-manager-daemons-5.12.2-1.cm5122...原创 2019-06-17 00:17:33 · 1273 阅读 · 0 评论 -
CDH集群:为hbase安装phoenix工具
1,下载cdh的phoenix安装包http://archive.cloudera.com/cloudera-labs/phoenix/parcels/latest/移动parcel文件到cdh安装目录: /opt/cloudera/parcel-repo/打开cloudera的管理7180 web管理界面, 选择parcels—> 检查新parcel: 分发, 激活...原创 2019-07-11 18:27:20 · 873 阅读 · 0 评论 -
CDH安装:tar包+parcel, 自动化脚本
基本组织架构角色启动的服务使用的脚本cm-servercloudera-scm-server, cloudera-scm-agentserver.shcm-agentcloudera-scm-agentagent.sh脚本安装: 所用到的文件及目录├── agent.sh├── server.sh├── cdh│ ├── CDH-5.12.0...原创 2019-08-06 22:43:37 · 1528 阅读 · 2 评论 -
cdh管理hadoop集群:副本增删
1, 副本增加:1-> 2需求:历史数据只有一个副本,需要修改为两个副本登陆7180也没, 配置hdfs的replications个数手动设置历史文件的副本数#1,查看某文件的副本数[hdfs@cdh1 ~]$ hdfs dfs -stat '%o,%r' /a.txt #blocksize, replication134217728,1#2, 修改文件副本数,-R ...原创 2019-09-12 11:31:40 · 1688 阅读 · 1 评论 -
windows服务器搭建CDH集群:配置nginx反向代理虚拟机
1,块丢失 && namenode高可用失效=>两个nn都是active_1073755565 /hbase/data/default/V_ESBH原创 2019-01-08 23:55:18 · 1382 阅读 · 0 评论