pyspark学习--2、pyspark的运行方法尝试以及各种示例代码尝试
运行方法
先使用pycharm构建一个小的项目:环境目录如下,需要红框中的两个文件:
其中 test.json中文件内容如下:
{
'name': 'goddy','age': 23}
{
'name': 'wcm','age': 31}
test_pyspark.py文件内容如下:
from pyspark.sql import SparkSession
from pyspark.sql.types import *
spark = SparkSession \
.builder \
.appName("goddy-test") \
.getOrCreate()
schema = StructType([
St