# 1. 引入需要的包,这两个包为基础包
# 额外需要的包可以自行import
from pyspark import SparkConf
from pyspark.sql import SparkSession
from pyspark.sql.types import StructField, StructType, StringType, IntegerType
# 指定文件的csv列名和格式
schema = StructType([
StructField('index', StringType()),
StructField('keeps', StringType()),
StructField('ctr_label', StringType()),
StructField('ctr_pred', StringType())
])
path = 'viewfs://hadoop-gpu/1'
df = spark.read.format("csv").option("header", "false").option("delimiter", "\t").schema(schema).load(path)
#schema的数据需要仔细处理一下
hdfs数据导入hive
最新推荐文章于 2024-08-01 04:33:18 发布