spark 1.3.0 将dataframe数据写入Hive分区表

最新推荐文章于 2021-01-30 09:00:50 发布
最新推荐文章于 2021-01-30 09:00:50 发布
阅读量7.8k 收藏 4
点赞数
分类专栏： spark 文章标签： hive Spark 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mach_learn/article/details/44853387
版权
本文介绍了如何在Spark 1.3.0中将DataFrame数据写入Hive分区表。主要内容包括使用DataFrame的API如`registerTempTable`和`insertInto`，以及如何通过指定数据库和使用`saveAsTable`函数配合Hive的SQL语句将数据写入Hive表和分区。示例中展示了如何创建case类转换RDD数据，然后写入指定数据库的表中。
摘要由CSDN通过智能技术生成

从spark1.2 到spark1.3，spark SQL中的SchemaRDD变为了DataFrame，DataFrame相对于SchemaRDD有了较大改变，同时提供了更多好用且方便的API。

DataFrame将数据写入hive中时，默认的是hive默认数据库，insertInto没有指定数据库的参数，本文使用了下面方式将数据写入hive表或者hive表的分区中，仅供参考。


1、将DataFrame数据写入到Hive表中

从DataFrame类中可以看到与hive表有关的写入Api有以下几个：

registerTempTable(tableName: String): Unit，

insertInto(tableName: 

最低0.47元/天 解锁文章
mach_learn
关注
专栏目录
【Hive进阶】-- Hive SQL、Spark SQL和 Hive on Spark SQL
欢迎来到我的博客，一起探索代码里的世界！
03-13 2945
Hive由Facebook开发，用于解决海量结构化日志的数据统计，于2008年贡献给 Apache 基金会。Hive是基于Hadoop的数据仓库工具，可以将结构化数据映射为一张表，提供类似SQL语句查询功能本质：将Hive SQL转化成MapReduce程序。Spark SQL主要用于结构型数据处理，它的前身为Shark，在Spark 1.3.0版本后才成长为正式版，可以彻底摆脱之前Shark必须依赖HIVE的局面。
元数据与数据治理｜Spark SQL结构化数据分析（第六篇）
十年呵护的专栏
01-08 2422
  数据科学家们早已熟悉的R和Pandas等传统数据分析框架 虽然提供了直观易用的API，却局限于单机，无法覆盖分布式大数据场景。在Spark1.3.0以Spark SQL原有的SchemaRDD为蓝本，引入了Spark DataFrameAPI，不仅为Scala、Python、Java三种语言环境提供了形如R和Pandas的API，而且自然而然地继承了SparkSQL的分布式处理能力。此外，S...
spark写表指定外部表_spark 将dataframe数据写入Hive分区表
weixin_29147347的博客
01-30 1581
从spark1.2 到spark1.3，spark SQL中的SchemaRDD变为了DataFrame，DataFrame相对于SchemaRDD有了较大改变，同时提供了更多好用且方便的API。DataFrame将数据写入hive中时，默认的是hive默认数据库，insertInto没有指定数据库的参数，本文使用了下面方式将数据写入hive表或者hive表的分区中，仅供参考。1、将DataFra...
spark 将dataframe数据写入Hive分区表
ChengYanan的博客
12-30 2142
1、将DataFrame数据写入到Hive表中 从DataFrame类中可以看到与hive表有关的写入Api有以下几个： registerTempTable(tableName: String): Unit， insertInto(tableName: String): Unit insertInto(tableName: String, overwrite: Boolean): Unit sav...
spark<Dataframe 直接写入hive表>
Gpwner的博客
09-15 7049
import org.apache.spark.rdd.RDD import org.apache.spark.sql.hive.HiveContext import org.apache.spark.sql.{DataFrame, SQLContext, SaveMode} import org.apache.spark.{SparkConf, SparkContext}object Main {
Spark 将DataFrame的数据写入Hive分区表
空藍性忘 的博客
12-25 1841
方法1 用 insertInto 该方法按照 df 中字段顺序确定字段与分区字段，与 df 的列名无关 mode(“overwrite”)：新数据以覆盖方式写入原有分区（其它分区不受影响） mode(“append”)：新数据以追加方式写入原有分区 val df: DataFrame = ... // 开启 Hive 表动态分区 spark.sql("set hive.exec.dynamic.partition=true") spark.sql("set hive.exec.dynamic.partit
dataFrame存入到Hive
qq_43012693的博客
11-21 2723
有多种方式把一个dataframe保存到hive表中： 1.直接把dataframe的内容写入到目标hive表 df.write().mode("overwrite").saveAsTable("tableName"); 或 df.select(df.col("col1"),df...
利用Spark将DataFrame、Hive数据写入Oracle
NASAXK的博客
03-23 8198
本篇博文的主要内容： 1、分析Spark读写Oracle方法 2、DataFrame数据写入Oracle 3、Hive数据写入Oracle DataFrame是在Spark1.3.0中推出的新的api，它借鉴了R语言DataFrame的一些优点，这让spark具备了处理大规模结构化数据的能力。作为Spark初学者，在通过学习使用Spark读写RDBMS数据的过程中，遇到了一系统的问
scala写入mysql_spark rdd转dataframe 写入mysql的实例讲解
weixin_39841136的博客
12-24 514
dataframe是在spark1.3.0中推出的新的api，这让spark具备了处理大规模结构化数据的能力，在比原有的RDD转化方式易用的前提下，据说计算性能更还快了两倍。spark在离线批处理或者实时计算中都可以将rdd转成dataframe进而通过简单的sql命令对数据进行操作，对于熟悉sql的人来说在转换和过滤过程很方便，甚至可以有更高层次的应用，比如在实时这一块，传入kafka的topi...
spark 将dataframe数据写入Hive分区表
weixin_33939843的博客
04-20 2172
从spark1.2 到spark1.3，spark SQL中的SchemaRDD变为了DataFrame，DataFrame相对于SchemaRDD有了较大改变，同时提供了更多好用且方便的API。DataFrame将数据写入hive中时，默认的是hive默认数据库，insertInto没有指定数据库的参数，本文使用了下面方式将数据写入hive表或者hive表的分区中，仅供参考。1、将DataFra...
Dataset写Hive表报错：Cannot create hive serde table with saveAsTable API;
qq_31073717的博客
04-10 1889
原因是DataFrame API和Hive API不兼容，网上有Scala版本的解决办法https://www.jianshu.com/p/a91368a33a31。但是java版本的还不知道怎么解决。 Dataset goodstudentsDS = sparkSession.sql("SELECT SI.name,SI.age,SS.score" + " FROM stud...
在spark中将数据插入HIVE表
热门推荐
a2639491403的博客
04-26 5万+
在spark中将数据插入HIVE表用spark导入到HIVE中效率较高    1    创建数据集的spark D啊他Frames:                        TmpDF=spark.createDataFrame(RDD,schema)                        这里schema是由StructFied函数定义的     2    将数据集的DataFra...
Spark RDD(DataFrame) 写入到HIVE的代码实现
大数据挖掘SparkExpert的博客
03-23 2万+
在实际工作中，经常会遇到这样的场景，想将计算得到的结果存储起来，而在Spark中，正常计算结果就是RDD。 而将RDD要实现注入到HIVE表中，是需要进行转化的。 关键的步骤，是将RDD转化为一个SchemaRDD，正常实现方式是定义一个case class. 然后，关键转化代码就两行。 data.toDF().registerTempTable("tabl
spark 将dataframe 数据写入hive分区表
sun_duoLong的博客
07-20 1万+
DataFrame 将数据写入hive中时，默认的是hive默认数据库,insertInto没有指定数据库的参数，数据写入hive表或者hive表分区中： 1、将DataFrame数据写入到hive表中 从DataFrame类中可以看到与hive表有关的写入API有一下几个： registerTempTable(tableName:String):Unit, inserInto(table...
Spark DataFrame 写入HIve 出现HiveFileFormat`. It doesn't match the specified format `ParquetFileFormat`
lvwenyuan_1的博客
05-30 9115
场景 现在有一个需求，解析一个csv文件，然后写入hive已经存在的表中，就出现了这个错 org.apache.spark.sql.AnalysisException: The format of the existing table arcsoft_analysis.zz_table is `HiveFileFormat`. It doesn't match the specified fo...
SparkSql中DataFrame与json、csv、mysql、hive数据的互操作
Widsom的博客
05-12 8460
SparkSql中DataFrame与json、csv、mysql、hive数据的互操作 1.RDD转换成DataFrame 1.1 RDD to DataFrame RDD转成DataFrame有2种方式，一种是通过隐式转换，一种是通过SparkSession来进行创建。 1.1.1 RDD隐式转换成DataFrame(推荐) object RDDToDF { def ma...
SparkSQL 1.3.0：DataFrame API提升易用性与性能
SparkSQL 1.3.0版本通过...Spark SQL 1.3.0版本通过DataFrame API的引入，不仅提升了易用性，还加强了其在大数据处理场景中的适用性和性能，使之成为一个强大的数据处理工具，适合不同背景的开发者和数据科学家使用。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值