CDH 运维中遇到的问题

1、[03/Aug/2022 12:10:58 +0000] 73443 Thread-13 https        ERROR    Failed to retrieve/store URL: http://master1.cdp.prod:7180/cmf/parcel/down
load/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.torrent -> /opt/cloudera/parcel-cache/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.torrent HTTP
 Error 404: Not Found

虽然名字是404 其实是权限问题 查一下

/opt/cloudera/parcel-cache/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.torrent 

的权限吧 应该是640  改成644就好了

2，CDH报警 文件夹描述符小于32678 

检查了一下系统之后发现描述符都已经打开了，查了 一下官方文档  这个配置在cdh本身中也有配置

打开

/etc/security/limits.d/cloudera-scm.conf

修改其中的配置就可以了

3、No Java JDK is detected on the host. 

CDH侦测不到节点的jdk

因为是自己部署的jdk  JAVA_HOME=/opt/jdk

但是cdh 默认是以  JAVA_HOME=/usr/java/default

所以 

 ln -s  /opt/jdk   /usr/java/default

做出如下就该即可  如果不想麻烦 直接jdk的JAVA_HOME 修改为/usr/java/default 最好了  然后重启服务  jdk 就可以侦测到了

4、CDH 界面使用代理后静态文件无法加载

使用 nginx 代理转发 7180 端口后，可以登录但很多内容无法加载时，按此文档操作

1. 打开文件 /usr/share/cmf/webapp/WEB-INF/spring/mvc-config.xml 文件中注释或删除以下行

<bean class="com.cloudera.server.web.cmf.csrf.CsrfRefererInterceptor" />

5.配置freeipa +cdh报错 

 ERROR: Host does not have corresponding DNS A/AAAA record
打开/etc/resolv.conf
给所有的节点添加
nameserver 10.1.1.1  #你的ipa server地址
一定要放在第一个，一定要放在第一个，一定要放在第一个 ，不然解析不到

6.Audit Pipeline Test

不良 : There is a problem processing audits for xxxx

你的Navigator Audit Server出问题了 跟服务无关。服务是好的 看看agent日志到底是什么问题吧 我这边是换元数据库忘记同步了

7、不良 : 当从 Java 进程查看时该主机的主机名称和规范名称不一致

主机名和hosts文件里的对不上 检查一下

8、cdh6.3.2 hue导出条数限制解开

打开 /opt/cloudera/parcels/CDH/lib/hue/apps/beeswax/src/beeswax/conf.py

修改

# Deprecated
DOWNLOAD_CELL_LIMIT = Config(
  key='download_cell_limit',
  default=10000000,
  type=int,
  help=_t('A limit to the number of cells (rows * columns) that can be downloaded from a query '
          '(e.g. - 10K rows * 1K columns = 10M cells.) '
          'A value of -1 means there will be no limit.'))

def get_deprecated_download_cell_limit():
  """Get the old default"""
  return DOWNLOAD_CELL_LIMIT.get() / 100 if DOWNLOAD_CELL_LIMIT.get() > 0 else DOWNLOAD_CELL_LIMIT.get()

DOWNLOAD_ROW_LIMIT = Config(
  key='download_row_limit',
  dynamic_default=get_deprecated_download_cell_limit,
  type=int,
  help=_t('A limit to the number of rows that can be downloaded from a query before it is truncated. '
          'A value of -1 means there will be no limit.'))

修改 这个参数 key='download_cell_limit', -1为不限制

保存后在集群里同步一下 然后重启hue

9、CDH配置数据库报错：User can‘t run DDL statements on the specified database. Attempt to create and drop a ta

将GTID功能关闭，一般高可用做的双主，用的就是GTID。关了后就部署成功了，应该是数据库连接的时候有限制。