Hadoop
文章平均质量分 71
疯码牛Pro
大数据、AI技术拓荒
展开
-
大数据集群,这些关键问题需要注意,持续更新
1 集群启动及初始化配置问题集群配置修改好后,往往需要重启。每个集群的重启方式不一样,需要根据集群具体设定。例如:我们现有第三方平台的重启方式为:sh /opt/workspace/executor-proxy/sbin/app.sh restart修改初始化内存分配的方式为:设置初始化内存为1gpwd/opt/workspace/executor-proxy/sbindiff env.sh env.sh.bak 8c8< export MEM=" -Xms1g -Xmx1原创 2021-08-17 13:20:59 · 433 阅读 · 0 评论 -
CDH 6.3.1正式环境安装过程及注意事项,帮你一步到位
第一部分 环境检查及准备:1.1 基础环境及镜像包准备1.1.1 基础环境要求 名称 地址 操作系统 root密码 cdh-0001 10.1.0.30 Centos 7.7 ***** cdh-0001 10.1.0.105 Centos 7.7 cdh-0001 .原创 2021-08-16 09:03:21 · 2492 阅读 · 2 评论 -
CDH CM修改配置文件Data truncation: Incorrect string value: ‘\xE5\xB7\xB2\xE6\x9B\xB4...‘ for column ‘MESSA
Data truncation: Incorrect string value: '\xE5\xB7\xB2\xE6\x9B\xB4...' for column 'MESSAGE' at row 1cloudera server 端日志:Caused by: java.sql.BatchUpdateException: Incorrect string value: '\xE5\xB7\xB2\xE6\x9B\xB4...' for column 'VALUE' at row 1 ...原创 2021-08-11 22:52:30 · 391 阅读 · 0 评论 -
CDH 时钟偏差 不良 : 无法找到主机的 NTP 服务,或该服务未响应时钟偏差请求。
首先:执行ntpstat,实时命令查看状态,结果发现所有服务器的状态都是未同步状态“unsynchronised”:然后,重启ntp服务、手动时间同步、再重启服务(全部机器执行):systemctl stop ntpdsudo ntpd -gqsystemctl start ntpd最后,执行timedatectl,查看服务器时间状态,发现NTP synchronized为true,说明时间同步成功了。并且各个节点与master之间的时间都保持...原创 2021-08-11 22:44:41 · 2852 阅读 · 0 评论 -
CDH Cloudera Manager namenode拉不起来或者namenode都处于禁用状态
CDH Cloudera Manager 进程服务名称systemctl status cloudera-scm-serversystemctl start cloudera-scm-agent格式化namenodecm 前端界面显示 ;namenode 因为 Service Monitor 未找到活动 NameNodenamenode后端日志:Journal Storage Directory /opt/hadoop/hdfs/journalnode/nameservice原创 2021-08-11 22:40:50 · 1792 阅读 · 0 评论 -
CDH HDP ambari CM问题合集,持续更新
一问题现象:namenode 数据块丢失NameNode Blocks HealthTotal Blocks:[5247], Missing Blocks:[4677]问题原因:datanode 或namenode数据 丢失 冗余副本数据不一致造成解决办法:删除丢失模块元数据,6小时后数据会自动同步相关指令:查看丢失数据块:hdfs fsck /简单删除丢失块命令行for (( i=0; i<100; i++ ))do hdfs fsck / |原创 2021-08-11 22:39:55 · 399 阅读 · 2 评论 -
最新版大数据平台安装部署指南,HDP-2.6.5.0,ambari-2.6.2.0
一、服务器环境配置1 系统要求 名称 地址 操作系统 root密码 Master1 10.1.0.30 Centos 7.7 Master2 10.1.0.105 Centos 7.7 Worker1 10.1..原创 2021-08-11 22:41:13 · 971 阅读 · 0 评论