![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
bug
我在燕京有把刀
这个作者很懒,什么都没留下…
展开
-
FlinkCDC能读取到快照,但是无法输出更新数据,并行度的设置问题
发现是并行度问题,当我的并行度超过1的时候就无法捕获更新。目前并没有找到具体原因,只能单独设定并行度。FlinkCDC能读取到快照,但是无法输出更新数据。如有大佬路过求告知。原创 2023-08-11 22:14:04 · 593 阅读 · 0 评论 -
Hadoop压测失败:/bin/bash: /bin/java: No such file or directory
一、出现的问题在进行hadoop读写压力测试的时候出现问题。报错:/bin/bash: /bin/java: No such file or directoryjob创建完之后MR任务还没有跑起来就挂了二、解决方法在yarn-env.sh中添加上Java环境变量export JAVA_HOME=/opt/module/jdk1.8.0_212...原创 2021-08-23 13:52:00 · 1260 阅读 · 2 评论 -
dolphinScheduler启动失败
一、出现的问题今天启动dolphinScheduler,发现其所有服务都没有启动然后去查看日志,发现对应服务的日志全部都有这个报错ERROR in ch.qos.logback.core.rolling.RollingFileAppender[APILOGFILE] - openFile(logs/dolphinscheduler-api-server.log,true) call failed. - java.io.FileNotFoundException: logs/dolphinsched原创 2021-08-19 13:33:48 · 4147 阅读 · 1 评论 -
Failed to create Spark client for Spark session
问题原因:可能是队列阻塞了,开了一个hive客户端,然后外面还在跑hive的脚本任务,就会导致阻塞。解决方法:可以单独将不同任务放在不同的队列里面,比如hive客户端里面的任务就设置一个单独的队列,外面的脚本在default队列里面即可。...原创 2021-08-02 14:38:14 · 3654 阅读 · 0 评论 -
一打开虚拟机,windows就蓝屏重启
一打开虚拟机,windows就蓝屏重启终止代码SYSTEM_SERVICE_EXCEPTION。问题原因:安装了win10的 KB4584229这个补丁解决方法:一(最简单):升级vmware到16.1以上。二:卸载这个补丁,不要安装原创 2021-07-19 17:08:11 · 9713 阅读 · 24 评论 -
ERROR: Invalid HADOOP_COMMON_HOME
启动Hadoop、Yarn时报错/start-yarn.shERROR: Invalid HADOOP_COMMON_HOME解决方法:1、首先查看JAVA_HOME是否配置正确javajavac2、然后再查看配置HADOOP_HOME是否配置正确原创 2021-04-28 14:20:48 · 1316 阅读 · 0 评论 -
Kafka的Topic删不掉
1、修改 kafka/config/server.properties文件,将delete.topic.enable设置为true然后重启2、如果已经设置为true,那么查看是否有生产者或者消费者在使用该topic,如果正在使用,那么即使删除了该topic,还会被创建,但是数据被清空。...原创 2021-04-25 16:53:03 · 1055 阅读 · 3 评论 -
Kafka/flume集群启动脚本无效
使用脚本启动kafka无效脚本如下for i in hadoop102 hadoop103 hadoop104doecho "========== $i ==========" ssh $i '/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties'echo $?done使用后在hadoop104 jps一把,发现没有Kafka进程,去监控Kafka日志,原创 2021-04-22 11:51:52 · 601 阅读 · 0 评论