cdh
文章平均质量分 63
benpaodexiaowoniu
孤灯提单刀,漂泊我自傲。
展开
-
CDH的ngnix问题(记录)
记录:今天群内一小伙伴问“请教大家一个CDH的问题,机器关机、换机房、换IP后cm-server、cm-agent 都启动了,新的ip也配好了。但是主机状态一直是未知运行状态,启动Service Monitor、Host Monitor 也没反应、无报错”,各机器的运行状况,如下图经他猜测“知道原因了,nginx转发了下cdh的ui 点按钮的请求没到后台”。最终他的解决方案:nginx转发,会导致cdh ui的静态文件不能加载sudo vim /usr/share/cmf/webapp/.原创 2021-07-14 19:25:55 · 317 阅读 · 0 评论 -
编译flink1.12.2以适配cdh6.3.2并制作其parcel
前言一步一步地实践已成熟的flink1.12以parcel方式部署cdh6.x。编译下载kafka-avro-serializer-5.3.0和kafka-schema-registry-client-5.5.2注意:不要使用flink源码中的kafka-avro-serializer-5.5.2,因为编译报错如下图:针对上图的解决方案为:[root@master flink-release-1.12.2]# vi ./flink-end-to-end-tests/flink-end-to-e原创 2021-04-09 05:03:22 · 4906 阅读 · 10 评论 -
Hadoop-3.0.0-cdh6.3.2 移植指南(CentOS 7)
实践:Hadoop-3.0.0-cdh6.3.2 移植指南(CentOS 7)前言 虽然本文参考了[鲲鹏BoostKit大数据使能套件之Hadoop-3.0.0-cdh6.3.2 移植指南(CentOS 7.6)](https://support.huaweicloud.com/prtg-cdh-kunpengbds/kunpenghadoopcdh632_02_0010.html)和[CentOS 7.2 环境编译 hadoop-2.6.0-cdh5.15.1](https://blog.csdn.n原创 2021-04-04 23:45:03 · 1114 阅读 · 1 评论 -
cdh6.3.2安装apache-kylin-3.0.2-bin-cdh60
首先,由于本人是cdh6.3.2,故点击下载选择下图cdh60包[root@cdh632-worker03 ~]# cd /opt/soft/[root@cdh632-worker03 soft]# tar zxf apache-kylin-3.0.2-bin-cdh60.tar.gz -C /opt/module/[root@cdh632-worker03 soft]# cd /opt/module/apache-kylin-3.0.2-bin-cdh60/为解决报错01:[root@cdh原创 2020-06-25 14:28:15 · 1270 阅读 · 2 评论 -
cdh6.3.2上Hive on Spark模式下hive无法使用JsonSerDe问题
昨晚群内网友创建hive外部表(图一)后查询(Hive on Spark模式)便报错(图二):而我在cdh6.3.2上初次尝试建JsonSerDe外部表(参考:hive中创建hive-json格式的表及查询)时报错(图三):ERROR hive.log: error in initSerDe: java.lang.ClassNotFoundException Class org.apache.hive.hcatalog.data.JsonSerDe not found我的解决方案:原创 2020-05-19 13:03:43 · 1426 阅读 · 0 评论 -
cdh6.3.2上部署janusgraph0.5.2和atlas2.0.0
一、cdh6.3.2上部署janusgraph0.5.2+hbase2.1.0-cdh6.3.2+elasticsearch6.6.0(通过kibana6.6.0开启了xpack和铂金服务【es不可太高版本】以使用其图算法),参考一:图数据库JanusGraph实战[6]: JanusGraph+HBase+ElasticSearch的环境搭建,其有两个小注意点:1.关于jp官网上所提ssl方式连接es(图一)一直报错kibana的证书无法加载问题(图二),不过可以通过http方式正常使用es(图三)原创 2020-05-15 12:45:11 · 2175 阅读 · 1 评论 -
win10上通过VMwarePro15安装CentOS-7镜像后搭建cdh6.3.2集群
背景:随着Cloudera Enterprise 6.3.3发布再也没有免费版了,于是我便萌生在win10上通过VMwarePro15安装CentOS-7-x86_64-DVD-1810镜像后搭建cdh6.3.2集群。但由于Cloudera仅提供CDH-6.3.1的rpm安装包用于安装CM和CDH-6.3.2的parcel包用于搭建集群,如下:具体安装步骤参考一:如何在Redhat7....原创 2020-03-06 15:01:07 · 1299 阅读 · 0 评论 -
HiveOnSpark报错:Client ‘xxx‘ timed out waiting for connection from the Remote Spark Driver
今天群内看到一个hive on spark报错案例:FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session adecc1e7-9763-4d33-bf4d-7a1...原创 2020-01-07 13:05:48 · 9624 阅读 · 5 评论 -
hbase1.2.0-cdh5.11.2升级到hbase2.1.0-cdh6.3.0遇到的问题之hbase通过MapReduce查看表行数
求解???环境描述:五台测试机器,该台机器并非重装linux系统,而是删除原5.11.2集群上的已知目录,然后通过其他四台机器上cdh6.3.0添加新主机。由于只有此台机器配置高,故此台机器上有各种自我安装的软件:phoenix5.0(官网最高只支持hbase2.0)。问题描述:执行以下命令报错[root@worker ~]# hbase org.apache.hadoop.hbase....原创 2020-01-03 15:25:21 · 910 阅读 · 0 评论 -
cdh无法启动cloudera-scm-server 通过重装cdh集群修复原cdh集群
1 由于cdh集群突然断电,导致五台服务器中cloudera-scm-server无法运行和某台虚拟机的Centos7系统进不去。虽然利用笔记本上的虚拟机重搭CM和cdh集群导出元数据库脚本,以使原cdh集群的mysql中恢复其元数据库scmdb,但cloudera-scm-server启动后立刻挂掉。1.1 我按照这篇文中的方法:https://stackoverflow.com/quest...原创 2019-07-01 18:39:21 · 4336 阅读 · 4 评论