- 博客(3)
- 收藏
- 关注
RSS订阅原创 1. PySpark基础数据处理总结
本文 主要介绍pyspark的使用Spark本机测试环境：/Users/mtdp/work/code/machinelearning/src/common/bigdata/documentSparkAPI: PySpark Overview — PySpark 3.5.0 documentation代码：/Users/mtdp/work/code/machinelearning/src/common/bigdata/spark_dataframe_utils.py/Users/mtdp/work/code/
2024-01-09 18:04:57
1321
原创 Spark 提交命令和参数介绍
参考：spark官网配置介绍：Configuration - Spark 3.5.0 Documentationspark-sql参数一、提交命令 参数名格式参数说明--packages包含在driver和executor的classpath下的jar包逗号分隔的”groupId:artifactId：version”列表--driver-library-path传给driver的额外的库路径--driver-class-path传给driver的额外的类路径--driver-java
2024-01-09 17:37:02
1364
原创 Spark优化和问题
如： --jars "viewfs:///user/hadoop-shangchao/user_upload/hex-udf-0.1.jar,viewfs:///user/hadoop-shangchao/user_upload/zhuyong05_SafeDispatchUDF-1.0.jar"问题原因：spark 提交参数中的jars包含org.apache.hadoop和org.apache.spark相关的jar包。报错信息：spark.driver.maxResultSize。
2024-01-09 17:29:19
1198
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人