CDH
灵魂在路上-
弯道超车
展开
-
CDH 帧错误
所有受监控的网络接口在过去 15 分钟内传入的网络数据包的 0.09 中的网络帧错误数。 警告阈值:任意。问题定位:ifconfig 发现errors:25734bond0 Link encap:Ethernet HWaddr F8:F2:1E:A7:16:A0inet addr:10.x.x.x Bcast:10.3.0.255 Mask:255.255.255.0inet6 addr: fe80::faf2:1eff:fea7:16a0/64 Scope:LinkUP BROAD原创 2020-09-24 15:04:50 · 2099 阅读 · 7 评论 -
CDH-HBASE启动报错
问题:2020-08-10 20:10:09,475 INFO org.apache.hadoop.hbase.coordination.ZkOpenRegionCoordination: Opening of region {ENCODED => 62aad16825cc68dbb15c7eb5ed3d01ad, NAME => 'invbiaos170411,04444444,1491878211908.62aad16825cc68dbb15c7eb5ed3d01ad.', STARTKE原创 2020-08-18 10:30:32 · 556 阅读 · 0 评论 -
CDH主机网络接口似乎未以全速运行
CDH主机网络接口似乎未以全速运行主机网络接口似乎未以全速运行 Cloudera Manager Agent 无法确定双工模式或接口速度分两种情况:情况一:排查:ethtool eth0发现Speed: 10Mb/s[root@hadoop6 ~]# ethtool eth0Settings for eth0: Supported ports: [ TP ] Supported link modes: 10baseT/Half 10baseT/Full原创 2020-08-18 10:26:18 · 2906 阅读 · 0 评论 -
KUDU同步数据到Hive报错
KUDU同步数据到Hive报错一:现象Azkaban每晚任务:将KUDU数据写入Hive偶尔出现连接kudu报错:Exception in thread “main” java.sql.SQLException: Unable to open scanner: Timed out: Client connection negotiation failed: client connection to 10.x.x.158:7050: BlockingWrite timed out: Timed out原创 2020-07-08 14:34:47 · 2633 阅读 · 2 评论 -
居然两个NameNode都是备用,见了鬼了
@解决NameNode切换过程中出现两个备用先来看图:版本:CDH:5.7.1起因:1.一周前,ZK出现无缘无故的抖动,导致HBase一个计算节点挂掉了紧接着,这周出现该节点Redis频繁告警:查看服务器CPU,内存使用均正常。怀疑是磁盘IO。果然磁盘IO 100%想装个iotop看下具体哪个进程引起的,结果yum的时候直接没响应那么先把该服务器上重要的CDH节点先迁移走:NameNode迁移完成之后出现了2个备用,没有主节点。问题肯定是由于该服务器磁盘IO高,导致迁移的时候响应原创 2020-06-23 18:34:08 · 1678 阅读 · 0 评论 -
CDH 5.14.2 server启动报错 Can't DROP FOREIGN KEY `FK_SERVICE_CONFIG_REVISION`; check that it exists
CDH 5.14.2 server启动报错现象:启动cloudera-scm-server报错查看cloudera-scm-server.log发现如下报错2019-11-26 16:32:46,303 FATAL main:org.hsqldb.cmdline.SqlFile: SQL Error at 'UTF-8' line 2:"alter table SERVICES ...原创 2019-11-26 17:25:43 · 708 阅读 · 0 评论 -
hive命令行有些服务器只能看到default:
CDH的节点执行hive命令,有些节点只能看到default库[root@wjltony ~]# hiveJava HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed in 8.0Java HotSpot(TM) 64-Bit Server VM warning...原创 2019-07-22 16:31:22 · 1480 阅读 · 0 评论 -
Hive Metastore Server 迁移后hive任务执行失败
Hive Metastore Server 迁移后hive任务执行失败启动过程如下:Query ID = root_20190717154242_27560818-a11a-45fa-9ec2-1c524a237169Total jobs = 1Launching Job 1 out of 1Number of reduce tasks not specified. Estimated ...原创 2019-07-22 16:09:59 · 600 阅读 · 0 评论 -
CDH5.7.1修改hostname
CDH5.7.1修改hostname1.停CDH集群,不用停cm2.停cloudera-scm-server和agent3.修改hostname修改ClouderaManger资源库表update scm.hosts set NAME=‘manager1’,IP_ADDRESS=‘xxx.xxx.xxx.xxx’ where NAME=‘dw0’;4.修改/etc/cloudera-s...原创 2019-07-30 14:35:18 · 737 阅读 · 0 评论 -
datanode报错:Premature EOF no length prefix available
datanode报错:Premature EOF: no length prefix available解决:ulimit -n 太小ulimit -n 65536原创 2019-07-30 14:30:35 · 5334 阅读 · 0 评论 -
kudu报错:Remote error Service unavailable Soft memory limit exceeded
kudu报错:Remote error Service unavailable Soft memory limit exceededKudu都有一个硬性和软性的内存限制。硬存储器限制是Kudu进程允许使用的最大数量,由–memory_limit_hard_bytes标志控制。软内存限制是由硬盘内存限制的一个百分比,由–memory_limit_soft_percentage标志控制,memo...原创 2019-07-30 14:29:52 · 1365 阅读 · 0 评论 -
hue忘记密码
hue忘记密码简单粗暴一点,直接修改数据库,auth_user表password字段:pbkdf2_sha256120001200012000i1tfRdEFgcnQ$mCwup9RGxgVEHUkJa5JdxuMzUSKx8Z1RYUDLFOndlnA=这个是admin原创 2019-07-30 14:28:25 · 924 阅读 · 1 评论 -
CDH踩坑
CDH踩坑同事在部署时候碰到这个问题,之前同样的部署方式并没有碰到过,所以拿出来记录一下:CDH javax.mail.MessagingException: Could not connect to SMTP host: localhost, port:25解决:去除这个勾...原创 2019-07-30 14:24:26 · 724 阅读 · 0 评论 -
CDH安装kafka启动报内存不足
CDH安装kafka启动报内存不足修改kafka配置Java Heap Size of Broker:1G原创 2019-07-30 14:21:42 · 608 阅读 · 0 评论 -
CDH离线部署5.7.1 on Centos6
nginx定时清理日志脚本欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使...原创 2019-07-30 13:36:57 · 523 阅读 · 0 评论 -
CDH 踩坑之:时钟同步问题
CDH 踩坑之:时钟同步问题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎...原创 2019-07-17 10:18:01 · 4322 阅读 · 0 评论 -
CDH踩坑记录之:熵不足
CDH 踩坑之:熵不足今天在部署CDH5.14.2的时候,有同学反馈cm上一会儿告警,一会儿变绿,一会儿变黄,系统没有跑任务,简直一个红绿灯。查看告警内容:36 entropy was available. 临界阀值:50解决过程:1.查看系统当前的熵:发现确实很少[root@wjltony ~]#cat /proc/sys/kernel/random/entropy_avail2...原创 2019-07-16 18:37:56 · 2314 阅读 · 0 评论