在spark中将数据插入HIVE表

最新推荐文章于 2023-05-05 14:10:25 发布

孤数不证

最新推荐文章于 2023-05-05 14:10:25 发布

阅读量3.5k

点赞数

本文链接：https://blog.csdn.net/weixin_43668299/article/details/103755766

版权

本文介绍了如何在Spark中高效地将数据插入Hive表。首先创建Hive的school数据库和student表，然后利用pyspark将本地文件数据转化为DataFrame并插入表中。此外，还展示了如何处理Parquet文件并将其插入到新的Hive表name_age2中，同时提到了通过条件查询和自定义用户函数操作数据的方法。

摘要由CSDN通过智能技术生成

在spark中将数据插入HIVE表
用spark导入到HIVE中效率较高

1    创建数据集的spark D啊他Frames:

                    TmpDF=spark.createDataFrame(RDD,schema)

                    这里schema是由StructFied函数定义的

 2    将数据集的DataFrames格式映射到零时表：

                    TmpDF.createOrReplaceTempView('TmpData')

3    用spark sql语句将零时表的数据导入hive的tmp_table表中：

                    sqlContext.sql('insert overwrite table tmp_table select *from TmpData')

首先创建一个数据库

spark.sql('create database school')

 可以通过show（sql语句）来查看创建的表

接着我在school数据库中创建了个student表：

    strspark='''
create table student(id varchar(20),name varchar(20),sex varchar(20),result      varchar(20))   row format delimited fields terminated by ','

(三引号在python既可以充当注释也能多行输出)