- 博客(13)
- 收藏
- 关注
RSS订阅原创 Flume读取kafka写入hdfs(kerberos环境)出现no rules applied to
可知defaultRealm在static块中被初始化，加载的是初始化时java.security.krb5.kdc指向的配置文件中配置的default_realm，而resetDefaultRealm()方法，没有从任何地方被调用。感觉像是第一次认证kafka的时候根据主机名找到了对应的realm,但是后面在认证hdfs的时候没有找到对应的realm而是使用的defaultRealm,赶紧去查看一下krb5.conf文件发现default_realm确实指向了另外一个KDC,赶紧删掉,问题解决。
2022-10-23 16:59:12
1550
1
原创 Ranger初始化遇到问题
原因：MySQL设置了foreign key关联，造成无法更新或删除数据。可以通过设置FOREIGN_KEY_CHECKS变量来避免这种情况。SET global FOREIGN_KEY_CHECKS = 1 //打开外键约束。SET global FOREIGN_KEY_CHECKS = 0 //关闭外键约束。猜测应为mysql function_creators参数没开。删除MySQL中的Ranger数据库重新创建就好了。添加完重启MySQL之后再次启动Ranger发现。
2022-01-06 14:02:37
722
原创 cdp平台hue配置ldap失败的问题
前提条件:cloudera runtime 7.1.7cloudera manager 7.4.4在cm中配置hue集成ldap失败,在进行Test LDAP Configuration时提示LDAP Test Configuration failedhue中日志显示LDAP Exception:{‘info’:‘unsupported extended operation’,‘desc’:‘Protocol error’}初步判断是协议错误,于是打开了ldap日志具体参照配
2021-12-21 17:23:14
941
原创 记录一次cdp平台hive3同时集成ldap与kerberos遇到的问题
按照c6配置方法发现ldap并没有生效查看了相关资料发现有在单独hiveserver2节点配置ldap的方法,修改hive-site.xml中hiveserver2高级代码段按这个方式配置完成后重新启动hive on tez后可以同时使用ldap和kerberos进行登陆了...
2021-12-15 16:31:50
1370
1
原创 CDP安装Atlas登陆失败
CDP中安装Atlas后修改了atlas.admin.password参数,但是在web UI中登陆失败查看了日志发现PAM Authentication Failed解决方法:勾选Enable File Authentication取消勾选:atlas.authentication.method.pam重启Atlas即可使用配置的username和password...
2021-11-30 16:53:43
885
原创 sqoop1.4.7从oracle19c抽取数据提示 Unable to obtain the Oracle database version
前提:公司决定将Oracle版本从现在的11g升级到19c,中间涉及到sqoop的数据抽取,所以在测试环境中进行测试使用最简单的sqoop命令测试时没有发现任何问题,但是在脚本中sqoop使用了–direct参数时发现了一个ErrorUnable to obtain the Oracle database version因为银行要求比较高,所以开始排查这个error的影响及产生的原因.更新驱动首先考虑驱动与版本之间的关系,因为之前oracle是11g版本,使用的驱动是ojdbc5.jar和ojd
2021-09-28 18:26:09
804
原创 Superset安装及连接clickhouse遇到的问题
superset安装文档v20210811本次安装使用miniconda虚拟环境安装一.内外网安装miniconda并在外网创建虚拟环境在外网环境下载Miniconda3-latest-Linux-x86_64.sh文件到/opt目录下并执行cd /optsh ./Miniconda3-latest-Linux-x86_64.shminiconda安装目录输入/opt/miniconda3安装完成后创建并激活虚拟环境cd /opt/miniconda3/binconda create -
2021-08-31 16:24:11
1463
原创 搭建CDP7.3.1平台出现的问题
一.CDP7.3.1推荐的安装模板CDP7.3.1推荐的安装模板千万不要使用,强烈建议使用自定义安装,因为组件之间的依赖关系处理的不好,使用安装模板经常会出现安装成功后启动失败,因为依赖的组件未安装.你可能需要重新安装依赖组件,但是启动会出现问题,比如有一些组件得目录已经创建成功,重启会失败,需要重新初始化等,非常麻烦,强烈建议自定义安装二.Hbase启动后HMaster意外退出因为CDP平台使用Ranger替代了CDH平台中得Sentry进行用户权限管理,在Hbase启动时发现了一些报错:E
2021-06-16 14:26:04
957
原创 关于HbaseSnapshot迁移得理解
最近在进行Hbase数据迁移的时候,发现HbaseSnapshot是比较常用的一种方法,个人理解快照应该是元数据而不包含数据的,类似与HDFS快照如果使用HDFS进行数据迁移要使用到distcp.但是为什么hbase得快照迁移不需要迁移数据呢,执行命令就可以通过快照做到数据迁移sudo –u hdfs hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot s1 –copy-from hdfs://ip:port/hbase –copy-to hdf
2021-04-25 16:37:56
189
原创 KAFKA数据倾斜查看offset脚本
KAFKA集群数据倾斜导致的某一个节点磁盘写满了,为了检查每个topic下分区得offset,使用kafka-run-class kafka-tools-getoffset查询第一步首先使用kafka-topics --list --zookeeper 127.0.0.1:2181复制所有的topic到文件夹kafka_topic中第二步#!/bin/bashfor i in cat /root/wqy_test/kafka_topicdo echo '----------------
2021-03-23 10:59:01
934
原创 记一次the hbase columns mapping contains a badly formed column问题
hive创建Hbase映射表成功,但是查询时报错如下:查询相关资料没有什么结果,查看了CDH社区发现类似问题https://community.cloudera.com/t5/Support-Questions/Number-of-column-limitations-in-hive-over-hbase-tables/m-p/147569但是不同的是别人的报错内容很清晰,跟我的完全不同,但是也给了我一些提示,是不是列数过多导致得,于是我开始排查hbase.columns,.mapping最后发现
2021-02-25 15:26:56
1187
原创 记一次SparkStreaming读取Apollo配置url问题解决思路
使用scala开发读取Apollo中mysql的配置参数时url错误官方提供配置方法:1.0.0版本开始支持以下方式配置apollo meta server信息，按照优先级从高到低分别为：通过Java System Property apollo.meta可以通过Java的System Property apollo.meta来指定在Java程序启动脚本中，可以指定-Dapollo.me...
2019-10-17 17:22:39
13723
1
原创 SparkStreaming使用createDirectStream保存offset至Zookeeper
SparkStreaming使用createDirectStream保存offset至Zookeeper一开始打算直接使用createDStream函数,但是createDStream只有在spark-streaming-kafka-0-8版本有,在spark-streaming-kafka-0-10版本createDStream函数不存在了,从网上copy了一段自身维护offset到zk的代码...
2019-10-10 18:31:48
285
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人