cdp
文章平均质量分 67
cclovezbf
这个作者很懒,什么都没留下…
展开
-
HiveServer2 Service Crashes(hiveServer2 服务崩溃)
Troubleshooting Hive | 5.9.x | Cloudera Documentation1.hive分区表太多(这里没有说具体数量。)2.并发连接太多,我记的以前默认是200个连接 3.复杂的hive查询访问表的的分区4.hs2实例数太少如果存在这些情况中的任何一种,Hive可能运行缓慢,或者可能崩溃,因为整个HS2堆内存已满。1.hs2服务直接挂掉,或者你开启新会话失败。2.hs2服务看起来是好的,但是你连接被拒绝3.查询提交重复失败4.查询一直在提交,查询时间长这里太长了,我直接用我自原创 2023-10-07 15:38:47 · 1523 阅读 · 0 评论 -
ZooKeeper Canary
这个是啥?我刚看到也是一脸懵,为啥看着cdh的zookeeper好像有问题?怎么解决?首先了解这个是啥?百度 一大堆屁话,不说了。直接点击ZooKeeper Canary其实很简单,就是cm 怎么知道你zk是好的还是坏的?怎么监控的?最好的办法其实就是连接zk ,然后create set get 不就好了么,这么一套搞下来能成功,zk就是好的,搞不下来就怀疑你zk有问题。连接zk可以看到,这个/cloudera_manager_zookeeper_canary 节点就是cm.原创 2022-05-07 18:07:14 · 1101 阅读 · 0 评论 -
cdp hive3.1表为事务表和外部表的问题
参考文章Apache Hive 3 tablesTable type definitions and a diagram of the relationship of table types to ACID properties clarifies Hive tables. The location of a table depends on the table type. You might choose a table type based on its supported storage form原创 2022-04-06 16:03:29 · 3927 阅读 · 0 评论 -
cdp搭建测试spark功能 遇到问题
公司集群由cdh换成了cdp。用spark代码测试 读取hive内的ods数据经过map等算子转化,然后存取到另外一个dw表里。代码都在cdh里ok的,已经发布生产。备注cdh, spark版本为2.4.0-cdh6.3.2 hive版本为 2.1.1-cdh6.3.2cdp spark版本为2.4.7.7.1.7.0-551 hive版本 3.1.3000.7.1.7.0-551本着简单的方式只修改了pom文件,然后打包放到linux去跑数。出现如下错误org.apache.h原创 2022-03-07 10:11:14 · 2984 阅读 · 2 评论 -
Spark has no access to table `dwiadata`.`b_profile_all_model_rels`.
集群为cdp 7.1.1 hive版本为3.1.1可以看到是由权限访问hive的metastore的。这里hive默认是acid表。spark没有权限处理acid表。把acid表删掉,关闭acid 然后建表就可以了。set hive.create.as.insert.only=false;set hive.create.as.acid=false;...原创 2022-03-07 09:33:04 · 813 阅读 · 0 评论