csv导入Hive脚本

最新推荐文章于 2024-07-07 03:08:47 发布

weixin_34357887

最新推荐文章于 2024-07-07 03:08:47 发布

阅读量280

点赞数

文章标签：大数据 shell 人工智能

原文链接：https://my.oschina.net/chendongj/blog/1860615

版权

2019独角兽企业重金招聘Python工程师标准>>>

from pyspark.sql import HiveContext

hivec  = HiveContext(sc)  # 创建一个hivecontext对象用于写执行SQL，sc为sparkcontext

# 拼接一个字段类型字符串
str_s = 'label String,'
for i in range(len(df.columns)-1):
    str_s += 'pixel%s String,' % i
# 拼接SQL语句
sql_str = "create table ml_test.decivsion ({})".format(str_s[:-1])  # 最后一个逗号需要去掉，否则报错

hivec.sql(sql_str)  #　执行ＳＱＬ

df = spark.read.csv(your hdfs path)  # 把csv读成dataframe，第一个参数为path
## 其他参数
# schema – an optional pyspark.sql.types.StructType for the input schema.
# header：默认值是false。就是把第一行当做数据，改为false，第一行就变为字段；
# sep：默认情况下，CSV是使用英文逗号分隔的,其他分隔符号可修改此选项;
# 更多参数请查阅官方文档
　
df.write.insertInto('ml_test.decivsion', overwrite=False)  # 将dataframe写入到指定hive表

转载于:https://my.oschina.net/chendongj/blog/1860615