Spark
Spark实战
谵忆南
哈哈啊哈哈哈哈哈啊哈哈哈哈哈哈啊哈
展开
-
sparkStreaming Direct模式消费kafka
【代码】sparkStreaming Direct模式消费kafka。原创 2024-10-10 11:30:04 · 111 阅读 · 0 评论 -
spark写hive报错 (Unrecognized Hadoop major version number: 3.0.0-cdh6.2.1)
Caused by: java.lang.IllegalArgumentException: Unrecognized Hadoop major version number: 3.0.0-cdh6.2.1业务场景:spark 抽取ck数据进Hive结论:CDH 自带的hive 版本和hadoop支持的hive 版本对应不上 导致报错办法:1:去掉pom文件中的hive 依赖(去掉依赖的话 本地执行会报错 但是线上不会报错)<!-- <dependency>--&原创 2021-11-26 15:41:01 · 3696 阅读 · 2 评论