![](https://img-blog.csdnimg.cn/146c2ba83a094f63a66b19c4d9a60f72.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
CDH
文章平均质量分 59
CDH的部署,组件的集成,常见故障的处理和记录
啊 这
啊 这
展开
-
CDH 之 Sentry 添加或启动错误:Could not create org.apache.sentry.provider.db.service.persistent.SentryStore
以上的错误看似 mysql 的 jar 包有问题,但这里并不是,因为 CDH 其他服务也会依赖这个 mysql-connector-java.jar ,所以不会是它的问题。原创 2023-08-03 11:42:13 · 246 阅读 · 0 评论 -
CDH 之 Hive 中文乱码平定通用法则
hive建的表中文显示乱码,即使指定了utf-8编码建立的库和表都是乱码原创 2023-06-30 14:01:53 · 904 阅读 · 0 评论 -
CDH 之 Sentry 安装失败 Unable to find the MySQL JDBC driver
CDH 之 Sentry 安装失败 Unable to find the MySQL JDBC driver原创 2023-06-25 14:08:54 · 348 阅读 · 0 评论 -
CDH 之 hive 升级至 hive-3.1.3 完美踩坑过程
这是博主在升级过程中遇到的问题记录,大家不一定遇到过,如果不是 CDH 平台的话,单是 hive 服务升级应该是不会有这些问题的,且升级前博主也参考过几篇相关 CDH 升级 hive 服务的博文,前面的升级步骤基本一致,但是升级过程只有我遇到了这些问题吗?单拎出来这些报错,度娘多多少少还是可以找到一些类似的解决方案,不过经过博主测试,都不能解决出现的问题,因此才有了此篇博文,当然最后也完美解决了所有问题,不保证后面使用过程中是否会出现问题,因为还没有进一步测试,但是升级和使用,是没有问题的。!原创 2023-06-08 15:04:59 · 2969 阅读 · 5 评论 -
CDH 之 hive 数据迁移
当你想切换了集群想把hive迁移至新集群,两个集群之间又互不相通,一个最简单快捷的方法,就是批量导出元数据信息,同时把数据文件下载上传至新服务器的数据文件存放目录下。将导下来的 tables.sql 和库文件上传至目标服务器,导入 sql 文件(前提是源服务器和目的服务器的hive版本要一致,否则需要做相关转换)上面的test.sql我只加了一条 create 数据,但是实际导出的sql文件是包含很多条create语句的,执行会出现如下错误。元数据导入成功之后,进行数据导入,这里也只测试了其中一个表数据。原创 2023-05-30 10:29:24 · 1019 阅读 · 0 评论 -
CDH 之 记一次 mysql 升级导致 cloudera scm server 启动失败
发现数据库 scm 的密码和原来已经不一样,更新数据库人员更新之后修改了 root 用户数据库密码,但是没有修改 scm 用户密码,db.procerties 却填了修改后的 root 用户密码,导致数据库连接异常。查看日志:tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log。尝试关闭 cloudere-scm-server:systemctl stop cloudera-scm-server。原创 2023-05-25 16:58:30 · 621 阅读 · 0 评论 -
CDH 之 SPARK 启动错误 Caused by: java.io.FileNotFoundException: File does not exist
说明 hdfs namenode 服务器上并没有 /user/spark/applicationHistory 这个目录,进入 hdfs 服务进行创建目录。原创 2023-05-24 11:21:39 · 626 阅读 · 0 评论 -
CDH 之 YARN JobHistory Server 运行异常
可以看出,因为 mapred 这个用户没有 /user 目录的相关权限导致,登录 mapred 用户或者 hdfs 用户(如果无法切换 hdfs 用户,请修改 /etc/passwd 文件,将 hdfs 列的 /sbin/nologin 改为 /bin/bash)最后重启 YARN 的 JobHistory Server 服务。将 /user/history 授权给 mapred 用户。原创 2023-05-24 10:12:43 · 510 阅读 · 0 评论 -
CDH 之 HIVE 异常退出 Permission denied: user=hive, access=WRITE, inode=“/tmp“:hdfs:supergroup:drwxr-xr-x
这个错误通常表示 Hive 用户没有在 "/tmp" 目录写权限,因此 Hive 无法在该目录下创建所需的临时文件,从而导致其异常退出。将 /tmp 目录权限设置为 "drwxrwxrwt",否则 hive 是没有权限的,使用如下命令修改 /tmp 的权限。用户,请修改 /etc/passwd 文件,将 hdfs 列的 /sbin/nologin 改为 /bin/bash。进入 HiveServer2 实例服务器,查看 /tmp 权限。CDH 显示异常退出。原创 2023-05-24 08:57:47 · 464 阅读 · 0 评论 -
CDH 之 hdfs 报错 Canary 测试无法为 /tmp/.cloudera_health_monitoring_canary_files 创建父目录
如果无法切换 hdfs 用户,请修改 /etc/passwd 文件,将 hdfs 列的 /sbin/nologin 改为 /bin/bash。不良 : Canary 测试无法为 /tmp/.cloudera_health_monitoring_canary_files 创建父目录。登录 namenode 服务器,进行手动创建。原创 2023-05-23 14:30:20 · 1457 阅读 · 0 评论 -
CDH 集成 Flink-1.14.3 过程与踩坑记录
(2)此时报错依然存在,我们查看 flink 的输出日志。(3)打开 flink-yarn 配置。(5)最后重新启动 flink 即可。(4)将这两行删除掉并保存配置。原创 2023-04-20 11:08:29 · 1341 阅读 · 0 评论 -
CDH 之 Kerberos 安全认证和 Sentry 权限控制管理(一)
Apache Sentry是Cloudera公司发布的一个Hadoop开源组件,2016年3月成为Apache顶级项目。Sentry是一个基于角色的粒度授权模块,提供了对Hadoop集群上经过身份验证的用户提供了控制和强制访问数据或数据特权的能力。Kerberos+Sentry原创 2023-04-10 09:31:11 · 1147 阅读 · 0 评论 -
CDH常见错误之主机添加
集群添加主机时出现的错误问题原创 2023-03-24 15:34:30 · 1980 阅读 · 0 评论 -
CDH大数据平台入门篇之搭建与部署
CDH:存储各种类型的数据、使用各种不同的计算框架进行操作、能够快速集成和运行一个完整的Hadoop平台,适用于各种不同的硬件和软件、高安全性且能够部署多种应用,并扩展和扩充它们以满足你的需求、还可以放心地用于关键的商业任务。原创 2023-03-06 11:16:47 · 4809 阅读 · 2 评论