![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
pyspark
只会写demo的程序猿
邮箱568076977@qq.com
展开
-
An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext.
最近公司上云,所有大数据环境都迁移到云上。在进行项目迁移时候发现运行报错py4j.protocol.Py4JJavaError: An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext.: java.lang.NullPointerException at org.apache.spark.SparkContext.<init>(SparkContext.scala:5原创 2021-06-25 17:36:16 · 7587 阅读 · 0 评论 -
sparkstreaming实时接收rabbitmq的数据(包含scala以及pyspark版本)
目录背景1:scala版本2:pyspark版本注意:以下都是采坑点RabbitMQ启用MQTT功能背景平常我们会实时监听kafka的数据,并且与流处理框架比如sparkstreaming和flink进行连接进行消费处理,这一套非常成熟且有官方工具包。但是目前有业务场景需要接收rabbitmq的数据,这就比较麻烦了,因为不想kafka有直接的kafkautils能创建流。在sspark1.6以前的版本有mqtt这个模块,里面有MQTTutils这个工具类是可以直接创建r.原创 2020-11-12 10:39:18 · 2202 阅读 · 0 评论