
PySpark安装与使用
在spark的bin/pyspark:在里面直接写spark.sql(“sql语句”).show()即可,也可以bin/pyspark --master yarn运行pyspark测试spark on Yarn的环境。目的:点击yarn(8088)上spark任务的history按钮,进入的是spark历史服务器(18080),而不再是yarn历史服务器(19888)1、修改配置文件/opt/module/spark-yarn/conf/spark-defaults.conf。









