pyspark实现csv文件转parquet格式（最优解决方案）

最新推荐文章于 2024-05-23 17:13:02 发布

吃胡萝卜的鳄鱼

最新推荐文章于 2024-05-23 17:13:02 发布

阅读量654

点赞数

分类专栏： spark 文章标签： spark hadoop 大数据

本文链接：https://blog.csdn.net/qq_37135484/article/details/122043038

版权

spark 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

最佳解决方案

自动判断各个csv文件字段的数据类型生成parquet文件（inferSchema=‘True’）

sc.stop()
from pyspark.sql import SparkSession
spark = SparkSession.builder.enableHiveSupport().getOrCreate()
df = spark.read.options(header='True', inferSchema='True', delimiter=',').csv("./csv2parquet.csv")
#df.printSchema()
df.write.parquet('./input-parquet135')
print("运行成功")
sc.stop()

参考文档

另一种解决方案

需要自己判断数据的格式然后自定义schema

sc.stop()
from pyspark import SparkContext
from pyspark.sql import SQLContext
from pyspark.sql.types import *
def parse(line):
    items = line.split(",")
    return (items[0], items[1], items[2])
if __name__ == "__main__":
    sc = SparkContext(appName="CSV2Parquet")
    sqlContext = SQLContext(sc)
    schema = StructType([
        StructField("identity_line_item_id", StringType(), True),
        StructField("identity_time_interval", StringType(), True),
        StructField("bill_invoice_id",IntegerType(), True)])
    rdd = sc.textFile("./csv2parquet.csv").map(parse)
    df = sqlContext.createDataFrame(rdd, schema)
    df.write.parquet('./input-parquet133')
    print("运行成功")