![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
疑难杂症
处理学习过程中遇到的各种问题
Lynn Gin
这个作者很懒,什么都没留下…
展开
-
Flink1.17.1消费kafka3.5中的数据出现问题Failed to get metadata for topics [flink].
【代码】Flink1.17.1消费kafka3.5中的数据出现问题Failed to get metadata for topics [flink].原创 2023-08-22 18:02:46 · 1707 阅读 · 0 评论 -
windows 运行 spark报错,缺少 hadoop 文件
一般都是因为缺少:这两个文件。原创 2022-09-22 18:00:46 · 821 阅读 · 0 评论 -
Centos7 安装 mysql57 出现 mariadb 问题
安装mysql出现mariadb冲突问题原创 2022-09-19 16:14:02 · 527 阅读 · 1 评论 -
SparkStreaming消费kafka数据时出现序列化问题 org.apache.kafka.common.serialization.StringDeserializer could not b
查了好多资料,说什么类加载机制什么的,但改了依然无效,经查阅Spark官方文档和kafka官方的文档后,得以解决,不得不说,官方文档还是厉害环境,pom文件如下:IntelliJ IDEA 2022.1.2 (Ultimate Edition)官方文档kafka 官方文档SparkStreaming 官方文档报错写法(后来也是可以用的)......原创 2022-06-22 09:40:51 · 1567 阅读 · 0 评论 -
ERROR 23448 --- [reate-423095039] com.alibaba.druid.pool.DruidDataSource:create connectionSQLExcepti
2022-06-17 15:05:12.247 ERROR 23448 --- [reate-423095039] com.alibaba.druid.pool.DruidDataSource : create connection SQLException, url: jdbc:mysql://localhost:3306/ssm_db?serverTimezone=UTC, errorCode 1045, state 28000java.sql.SQLException原创 2022-06-17 15:12:45 · 3378 阅读 · 4 评论 -
Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) kafka.common.
问题呈现zookeeper正常运行,但kafka进程一下就给掉了。。。查看server.log,发现id不匹配Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)kafka.common.InconsistentClusterIdException: The Cluster ID YOIAaEFQTxOxKawUXmUcGw doesn’t match stored cluste原创 2022-05-27 10:06:35 · 514 阅读 · 0 评论 -
Centos 7重启后 /var/run/hdfs-sockets 被删除导致 datanode 无法启动
查看datanode启动日志发现丢失 /var/run/hdfs-sockets 文件,具体原因尚不清楚。解决方法:每次启动手动创建 /var/run/hdfs-socketsecho “d /var/run/hdfs-sockets 0755 root root” > /usr/lib/tmpfiles.d/datanode.conf** /usr/lib/tmpfiles.d/datanode.conf 是不存在的,自己创建即可,名字也可自定义。...原创 2022-04-26 17:33:17 · 397 阅读 · 0 评论 -
IDEA 操作 Spark 读取 hive 数据,不允许匿名访问
修改 core-site.xml<property> <name>hadoop.proxyuser.用户名.groups</name> <value>*</value> <description>Allow the superuser oozie to impersonate any members of the group group1 and group2</description>原创 2021-08-11 19:03:02 · 151 阅读 · 0 评论 -
SparkSQL转换报错 value toDS is not a member of org.apache.spark.rdd.RDD
问题详情问题原因因为需要进行类型转换(隐式转换),样例类位置放错了。。。解决方法改变样例类位置(放于 main 方法之外)总结启用隐式转换时,需要在 main 函数中自行创建 SparkSession 对象,然后使用该对象来启用隐式转换,而非在 object 对象之前启用。case class 类的声明需要放在 main 函数之外。...原创 2021-08-06 18:00:21 · 1946 阅读 · 0 评论 -
flume 无法写数据到 hdfs
问题呈现:flume启动后一直停在sink已经启动。。。控制台看不到报错信息。。。hdfs上查看不到数据。。。解决方法:检测是否为kafka问题,因为消费的是Kafka中的数据。1) 使用 kafka-consumer-groups.sh 检测消费情况2) 不断生成新的数据,发现数据会被 flume 消费( 但没有写入 hdfs )检测是否为 flume 问题新建一个简单的 flume 配置文件,让采集本地数据到 hdfs ,这么一来,终于发现问题了(有报错信息了)2021-07-27原创 2021-07-28 09:21:06 · 3045 阅读 · 0 评论 -
File size exceeds configured limit (2560000), code insight features not available
解决方法添加一行idea.max.intellisense.filesize=99999之后会提醒重启,即可原创 2021-04-17 10:41:01 · 149 阅读 · 0 评论 -
IDEA执行SparkSQL(hive)报错 java.net.UnknownHostException: ns1
原因由于hive存在于HA的hadoop上解决方法将hdfs-site.xml 和 hive-site.xml 拷贝至 resouorce 目录下和 target/classes目录下原创 2021-03-19 17:29:08 · 1054 阅读 · 1 评论 -
Error during job, obtaining debugging information...
问题呈现原因Javaf堆内存不足,修改为本地模式OK4解决方法set hive.exec.mode.local.auto=true;原创 2021-03-16 20:57:42 · 432 阅读 · 0 评论 -
Flink运行报错 No ExecutorFactory found to execute the application.
报错信息报错原因从Flink1.11开始,移除了flink-streaming-java对flink-clients的依赖,需要手动加入clients依赖。解决方法修改pom文件,添加 flink-clients依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-clients_2.12</artifactId>原创 2021-03-06 16:13:04 · 253 阅读 · 0 评论 -
Centos7忘记root密码(修改密码)
1.打开Centos7,在选择进入系统时 迅速 按 ‘e’ 进入编辑2.按 ‘向下键’ ,找到linux16开头的那一行,在末尾添加:init=/bin/sh3.按 “Ctrl+x” 进入单用户模式4.输入 “mount -o remount, rw /”5.输入 “passwd + 用户名 ” 回车(修改root的话只输入passwd即可)5.1出现乱码的话输入 “LANG=en” 即可6.输入 “touch /.autorelabel”7.输入 “exec /sbi原创 2021-02-28 16:40:31 · 451 阅读 · 1 评论 -
xshell连接不上虚拟机
检查ip地址,网关是否填写正确虚拟机ip一定在正确的网段虚拟机网络模式一定对应网段检查windows是否ping通虚拟机检查是否有虚拟网卡(windows)如果没哟虚拟网卡,在vmware中可以原创 2021-01-24 11:08:02 · 198 阅读 · 0 评论 -
Centos7服务器无法使用yum
刚搞到的服务器就出现了yum不能使用的问题。。。更改yum源我的上一篇博客*********如果这都解决不了,就使用以下大招了覆盖原有的yum文件rm -rf /etc/yum.repos.d/* (一定要记得先备份,不然就真的么得了)文件我已经放在了百度网盘链接: https://pan.baidu.com/s/1TmyzTPOfqQbFmZhR1TQybA提取码: ndhy直接放到 /etc/yum.repos.d 下,然后更新一下即可yum -y update...原创 2020-10-14 20:12:03 · 358 阅读 · 0 评论 -
windows下忘记MySQL登录密码(亲测有效mysql 5.7)
停止mysql服务net stop mysql**有的服务名为mysql57需要修改修改mysql配置文件修改my.ini文件(“C:\ProgramData\MySQL\MySQL Server 5.7\my.ini”)添加: (skip-grant-tables = true)skip-grant-tables = true保存退出免密登录mysql服务开启mysql服务登录: mysql -uroot修改密码: update mysql.user set authentic原创 2020-10-12 19:27:04 · 175 阅读 · 0 评论