项目中遇到的问题

文章讨论了在系统运维中遇到的问题,包括修改Redis密码后未同步重启数据源服务导致的错误,CDH04与CDH集群的连接问题,解决方法涉及检查主机名、时间同步和执行特定系统命令。在数据处理方面,文章提到了Hive的大表初始化和动态分区策略,以及建表注释乱码的解决方案。此外,还提及了新增服务器空间不足和配置问题,如白名单、路径和代码语法错误。
摘要由CSDN通过智能技术生成

1.系统组件的问题:

数据源新增报错:修改redis密码没有同步重启数据源服务

cdh04与cdh集群失联过长

原因:ssh上去看一下,或者ping一下 如果能连上的考虑是主机名和时间同步问题 查看hostname是不是发生了变化,检查/etc/hosts文件是否一致 查看时间与namenode节点是否一致 确定没有这两方面原因之后,等一段时间后即可获取心跳

执行systemctl restart cloudera -som -agent

2.数据的问题

大表初始化:

开启动态分区

set hive.exec.dynamic.partion=true;

set hive.exec.dynamic.partion.mode=nonstrict;

将2020及以往的旧数据同意插入到2020-12,2012年以后的数据按月动态插入分区

格式问题

建表时注释乱码,

原因:脚本格式有误,回滚数据库,调为utf-8

3.新增服务器提示空间不足 

白名单问题,路径问题,代码语法问题

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值