trouble shooting
trouble shooting
hirolee88
这个作者很懒,什么都没留下…
展开
-
streampark 连MRS底座报错access hdfs error could not create proxy provider null
参考 改成勾选第一项。原创 2024-09-10 10:47:19 · 218 阅读 · 0 评论 -
crontab 的坑
所以同一个命令 手动执行和crontab执行 JAVA_HOME环境变量可能会不一样,走的jre不一样,可能会有隐藏的bug。守护进程在执行计划任务时,使用的是一个非常基础的Shell环境,它并不加载用户级别的。或类似的Shell初始化文件。这意味着在这些文件中设置的环境变量、函数或别名在。此外,每个用户都有自己的。文件,可以在其中定义环境变量。守护进程会加载系统级的。原创 2024-07-18 20:59:36 · 222 阅读 · 0 评论 -
查看实际使用的jdk jre 反查进程
fuser -v /usr/local/java/bin/javafuser -v /usr/bin/java原创 2024-07-18 20:55:36 · 105 阅读 · 0 评论 -
pip3 install celery-with-redis==3.0
原因是setuptools 58之后的版本已废弃use_2to3。解决办法是,安装低版本的setuptools。转载 2024-07-17 15:46:03 · 49 阅读 · 0 评论 -
hive 锁相关的配置
hive.support.concurrencyhive.lock.mapred.only.operationhive.query.exclusive.lockhive.lock.numretrieshive.lock.sleep.between.retries原创 2024-07-11 16:39:02 · 130 阅读 · 0 评论 -
关于hadoop-common 中的_HOST替换 涉及反向解析DNS
有一个配置项 hadoop.security.resolver.impl 默认应该是 org.apache.hadoop.net.DNSDomainNameResolver。重点关注 domainNameResolver.getHostnameByIP。反向解析dns的逻辑 根据ip获取域名。原创 2024-07-08 11:13:32 · 372 阅读 · 0 评论 -
大象医生 linkedin dr-elephant java.lang.NoClassDefFoundError: Could not initialize class org.apache.hado
dr-elephant-2.1.7/lib 目录下的jackson-databind不可以删除,不然play框架启不来,只能想办法修改 echo `hadoop classpath` 的。类似 /usr/current/hadoop-hdfs-client/lib/*目录下有 jackson-databind的jar jar包冲突。dr-elephant-2.1.7/app-conf/FetcherConf.xml 核心配置文件。一种不通可以试试另外一种。spark有两种配置。原创 2024-06-20 17:14:33 · 352 阅读 · 0 评论 -
dr-elephant window 编译问题-后端
注意以下两种目录结构都存在 内容存2份。原创 2024-06-18 20:07:20 · 178 阅读 · 0 评论 -
dr-elephant window 编译问题-前端
【代码】dr-elephant window 编译问题-前端。原创 2024-06-18 19:16:07 · 212 阅读 · 0 评论 -
gaussdb 8.1.3 200 flinkcdc(debezium)
gaussdb cdc基于逻辑复制原理,逻辑复制基于逻辑解码插件,逻辑解码插件有decoderbufs和pgoutput两种原创 2024-05-28 14:54:43 · 411 阅读 · 0 评论 -
kafka connect-distributed.properties kerberos配置问题java.io.EOFException at org.apache.kafka.com
但是mysql有数据变更后binlog文件有变动,debezium会起一个producer往kafka里吐数据一直失败。sasl.jaas.config=XXX 等配置后connect可以正常启动。能确定是kafka 开启kerberos导致的,但是尝试这种配置后未果。后Google到开头stackoverflow的文章后,按照修改解决。copy之前的配置 加上 producer. 再配置一遍。kafka版本2.7.2。日志如下:没有有效内容。原创 2024-04-24 11:27:38 · 600 阅读 · 3 评论 -
Connection marked as failed because the onConnect callback failed: This Beat requires the default di
【代码】Connection marked as failed because the onConnect callback failed: This Beat requires the default di。原创 2024-04-10 23:13:55 · 556 阅读 · 1 评论 -
curl kafka-connect 加载不到debezium-mysql的类
plugin.path配置无误,可以扫描并加载部分jar包的类。进程是jdk8启动的,反射加载类是报错了版本不兼容。日志级别改成debug可以看到。原因jar是jdk11编译的。某个jar包的类加载不到。原创 2024-04-10 23:03:48 · 116 阅读 · 2 评论 -
/var 磁盘满了,但是实际不满
发现rsyslogd进程 删过的文件还在占用磁盘。原创 2024-01-25 10:14:36 · 603 阅读 · 0 评论 -
使用jsch时遇到 Failed publickey for <myusername> from<myip> port 23837 ssh2: RSA
报错的机器authorized_key没有添加本机的公钥,添加后再测试成功了。正常的机器从~/.ssh/authorized_key 第7行匹配到了密钥,查看正常机器authorized_key 第7行内容,居然是本机的公钥。查看sshd日志,有差异但是没分析出来。把日志debug打开,发现了关键差异。对比 ssh sshd配置,一致。报错的机器从这日志开始报错了。一台机器正常,一台报错。对比目录文件权限,一致。原创 2023-06-01 20:07:32 · 232 阅读 · 0 评论 -
启动kafka-connect 遇到jar包冲突
现象:IllegalArgumentException Unsupported api。原创 2024-04-10 22:45:17 · 345 阅读 · 1 评论 -
健康检查告警发送失败
盲猜python里中文导致的,改成英文a="system error"后恢复正常了。查看ambari-server.log 可以看到只改了一句 调用异常了。调用脚本没有成功,盲猜因为权限问题导致的,chown后可以调用成功。ambari 调用python脚本 231106后没有告警了。a=b+c,现在需要把a写死成中文 a="系统异常"ls发现 231106后脚本的权限改成了root。原创 2024-02-27 15:20:50 · 341 阅读 · 0 评论 -
ng openserty apisix 不断产生Core文件导致磁盘满问题
插曲:磁盘满了 kill 进程后,删除140G的日志文件仍然占用空间,(无lsof命令无法确定哪个进程占着文件);根目录满了无法用yum安装lsof,后来删除了其他目录下的部分文件,成功安装了lsof命令,发现是kill的进程的子进程 还占用着已经删除140G的日志文件。排查结果:启动脚本根据lsof端口号查找旧进程的进程号 机器环境无lsof命令,停旧进程失败 导致。ps看 有2个同样的进程,盲猜端口占用,后启动的进程不断重启导致core文件产生。原创 2024-02-27 14:53:07 · 393 阅读 · 0 评论