![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 52
BugAngel233
学生
GitHub https://github.com/BugAngel
展开
-
windows安装spark3.2,并使用pycharm测试
windows安装spark3.2,并使用pycharm测试原创 2022-10-07 22:22:02 · 1731 阅读 · 0 评论 -
docker安装spark3
docker安装spark3原创 2022-08-21 18:51:19 · 1057 阅读 · 0 评论 -
SPARK UDF 无法使用 context
近期有需求,在 SPARK 的 UDF 中调用 SPARK 环境变量,即 SparkConf 中的信息。通过查找资料,发现spark context 无法序列化,只能在 driver 中读取,不能在运行UDF的worker中获得,因此无法完成。参考网站how-can-use-sqlcontext-in-spark-udfspark-read-doesnt-work-inside-scala-udf-function...原创 2021-06-24 00:06:43 · 146 阅读 · 0 评论 -
spark SQL UDF传参为空处理
在SPARK SQL 中使用UDF处理HIVE源的数据时,发现UDF中处理了null,但是SPARK在执行过程中仍然会报空指针错误。 查阅资料,HIVE底层数据保存的NULL值并不是null,而是 \N。HIVE配置如下ALTER TABLE NAME SET SERDEPROPERTIES('serialization.null.format'='\N');此时,HIVE 中查询字符串为空可以使用语句a IS NULL 或a ='\\N'在JAVA UDF 中,判断传参为空只能通过a原创 2021-04-10 11:16:51 · 761 阅读 · 0 评论