![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
无所事事的人
Go Go Go !!!
展开
-
Spark提交作业运行原理及其参数设置
运行原理:样例:/opt/spark/bin/spark-submit \--conf spark.num.executors=4 \--conf spark.executor.memory=16g \--conf spark.executor.cores=4 \--conf spark.debug.maxToStringFields=1024 \--conf spark.driver.memo...原创 2018-03-27 16:29:41 · 1653 阅读 · 0 评论 -
pyspark环境配置
前提:1、Ubuntu系统2、spark已经安装好过程:(修改配置文件,添加到Path中 。修改BASH配置,将Spark添加到PATH中,设置SPARK_HOME环境变量。)1、编辑~/.bash_profile或~/.profile文件,将以下语句添加到文件中 (根据自己spark的路径添加)export SPARK_HOME=/srv/sparkexport PATH=$SPARK_HOME...原创 2018-04-03 18:32:22 · 508 阅读 · 0 评论