Python大数据之PySpark(二)PySpark安装_支持 依赖项 ‘python pyspark‘ 的插件 spark 当前尚未安装。(1)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

+ 1-1个Spark的Applicaition下面有很多Job
+ 2-1个Job下面有很多Stage

Jupyter环境设置

监控页面

• 4040的端口
• 
• 

运行圆周率

• 回顾Hadoop中可以使用
• hadoop jar xxxx.jar 100
• yarn jar xxxx.jar 1000
• 跑的mr的任务
• Spark中也有对应的提交任务的代码
• spark-submit 提交圆周率的计算代码 */examples/src/main/python/pi.py*
• 提交的命令：

bin/spark-submit --master local[2] /export/server/spark/examples/src/main/python/pi.py 10
或者

# 基于蒙特卡洛方法求解的Pi，需要参数10，或100代表的次数
bin/spark-submit \
--master local[2] \
/export/server/spark/examples/src/main/python/pi.py  \
10

• 
• 
• 蒙特卡洛方法求解PI
• 
• 采用的扔飞镖的方法