- 博客(2)
- 收藏
- 关注
RSS订阅原创 记一次pyspark 的一个报错处理
在运行PySpark程序的时候，报错为：PySpark error: AttributeError: 'NoneType' object has no attribute '_jvm'是因为定义了一个udf函数，在函数中使用abs()方法，于是就出现了这种情况查找原因发现是使用from pyspark.sql.functions import * 语句引入的时候，覆盖了abs()方法导致...
2019-03-30 16:54:27
675
原创 pyspark 对接kafka 写入hive
1、pyspark 对接kafka需要依赖一些jar包 kafka-0-8或者kafka-0-10的关于kafka版本的全部的包 大概如下,反正如果jar包不全会有各种异常信息，到时候对应着补齐就行，注意自己的kafka和spark的版本 kafka_2.x-0.x.0.0.jar kafka-client-0.x.0.0.jar spark-sql-kafk...
2019-03-08 11:55:04
2480
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人