spark
文章平均质量分 76
陈奉刚11
大数据开发与问题定位
展开
-
spark 集群添加jar包 正解
前置1、先说一下spark-submit 提交命令 ,应该采用 如下路径的spark-submit,因为这样才会读取spark-default.conf>> /opt/cloudera/parcels/CDH/lib/spark/spark-submit2、如果无法找到正确的路径,采用配置方式如:spark-submit --class org.apache.spark.examples.SparkPi --master yarn --properties-fil原创 2021-06-23 20:44:11 · 2149 阅读 · 0 评论 -
spark 源代码分析 (一)准备阶段: idea 导入spark 源代码
开启spark 源代码学习过程,spark源代码导入到idea中原创 2017-07-26 20:19:11 · 930 阅读 · 0 评论 -
spark 源代码分析 (二)spark启动过程
下载spark后,调用shell脚本启动:./bin/spark-shell --master local[2]接下来将分析这个一个过程。spark-shell会启动--class org.apache.spark.repl.Main,参数--name"Spark shell""$@" ,然后会调用spark-submitcygw原创 2017-08-15 20:36:34 · 855 阅读 · 0 评论