Python大数据之PySpark(二)PySpark安装_支持 依赖项 ‘python pyspark‘ 的插件 spark 当前尚未安装。

• 1-使用base的环境安装
• 
• 2-使用pyspark_env方式安装
• 

• 查看启动结果

• 

• 简单的代码演示

• 

• 在虚拟环境下的补充

• 

• webui

• 

• 注意：

  • 1-1个Spark的Applicaition下面有很多Job
  • 2-1个Job下面有很多Stage

Jupyter环境设置

监控页面

• 4040的端口
• 
• 

运行圆周率

• 回顾Hadoop中可以使用
• hadoop jar xxxx.jar 100
• yarn jar xxxx.jar 1000
• 跑的mr的任务
• Spark中也有对应的提交任务的代码
• spark-submit 提交圆周率的计算代码 */examples/src/main/python/pi.py*
• 提交的命令：

bin/spark-submit --master local[2] /export/server/spark/examples/src/main/python/pi.py 10
或者

# 基于蒙特卡洛方法求解的Pi，需要参数10，或100代表的次数
bin/spark-submit \
--master local[2] \
/export/server/spark/examples/src/main/python/pi.py  \
10