Spark-SQL-Python编程

最新推荐文章于 2024-07-09 07:15:00 发布

dlphay

最新推荐文章于 2024-07-09 07:15:00 发布

阅读量1k

点赞数

分类专栏：大数据 SQL pyspark 文章标签： spark-sql python sql spark pycharm

本文链接：https://blog.csdn.net/dlphay/article/details/99202317

版权

这篇博客详细介绍了如何在PyCharm环境下利用Python进行Spark SQL编程，涵盖了设置环境、创建DataFrame、执行SQL查询等关键步骤。

摘要由CSDN通过智能技术生成

使用Pycharm来实现Spark-SQL。

from pyspark import Row
from pyspark.sql import SparkSession
from pyspark.sql.types import StructField, StringType, StructType

if __name__ == "__main__":
    spark = SparkSession\
            .builder\
            .appName("app name")\
            .master("local")\
            .getOrCreate()
    sc = spark.sparkContext
    line = sc.textFile("D:\\data\\demo.txt").map(lambda x: x.split('|'))
    # personRdd = line.map(lambda p: Row(id=p[0], name=p[1], age=int(p[2])))
    # personRdd_tmp = spark.createDataFrame(personRdd)
    # personRdd_tmp.show()

    #读取数据
    schemaString = "id name age"
    fields = list(map(lambda fieldName: StructField(fieldName, StringType(), nullable=True), schemaString.split(" ")))
    schema = StructType(fields)

    rowRDD = line.map(lambda attributes: Row(attributes[