hive 创建临时表和往表插入数据

最新推荐文章于 2024-05-07 06:28:02 发布
最新推荐文章于 2024-05-07 06:28:02 发布
阅读量1w 收藏 1
点赞数
分类专栏： Spark Hive DataFrama 文章标签： Hive DataFrama
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012280876/article/details/101298911
版权
Spark 同时被 3 个专栏收录
6 篇文章 1 订阅
订阅专栏
DataFrama
4 篇文章 0 订阅
订阅专栏
Hive
3 篇文章 0 订阅
订阅专栏

hive 创建临时表和往表插入数据

前言

本文讲述了如何将生成的DataFrame数据批量插入hive表。

实现

往hive表中插入数据有两种方式，一种是向指定数据库、数据表中写入数据，

hiveContext.sql("use DataBaseName")
data.toDF().insertInto("tableName")

另一种是把DataFrame数据注册为临时表，再写入hive指定数据表中。

hiveContext.sql("use DataBaseName")
data.toDF().registerTempTable("table1")
hiveContext.sql("insert into table2 select name,col1,col2 from table1")
YannAdams
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Hive的tempoary table使用
someInNeed的博客
11-24 2790
规范上不允许create table as select然后使用， 应该create temporary table as select,同样可以insert into进去数据 在create table as select的时候，会有插入为null导致该表的数据类型为void的情况，这样这个字段就不能用了，向该表插入数据会导致UDFArgument void的错误 ...
hive建表、导入数据、匹配
HIMOJITO的博客
09-02 354
1.建表（建立非重复表，分隔符设置为“，”） CREATE TABLE IF NOT EXISTS imei_guid(imei string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘,’; 2.导入（将本地文件夹的数据上传到hive） =CONCATENATE("(’",C2,"’),") load data inpath “hdfs://alg-hdfs/business/datacenter-platform/compass/adhoc/xxx.txt”
hive创建临时表并插入csv
KANGBboy的博客
02-01 596
hive创建临时表并插入csv
大数据最全Hive创建分区表并插入数据_hive中分区插入数据，2024年最新感悟分享
2401_84150394的博客
05-07 1100
set hive.exec.max.dynamic.partitions.pernode=1000 //每个maper或reducer可以允许创建的最大动态分区个数，默认是100，超出则会报错。set hive.exec.max.dynamic.partitions =1000 //一个动态分区语句可以创建的最大动态分区个数，超出报错。set hive.exec.max.created.files =10000 //全局可以创建的最大文件个数，超出报错。//开启动态分区功能。//开启动态分区功能。
hive insert into 插入数据产生很多临时表 values__tmp__table__1到n
潇洒人生的博客
03-15 5860
hive insert into 插入数据产生很多临时表 如下 values__tmp__table__1 values__tmp__table__2 values__tmp__table__3 values__tmp__table__4 重启客户端就没事了是什么情况？ 感觉是hive先在内存中将数据存入临时文件，然后再落盘 ...
hive建表，与插入数据
前方的路在刚开始
08-23 3301
固建立临时表（不分区），导入数据到临时表，创建分区表，通过【insert 分区表 select 临时表】 导入分区表。，需要通过insert parquet格式的表 select * textfile格式的表)存储格式用parquet，压缩数据，比orc差，查询一致，但是插入快（一致，他会把hdfs的文件copy到hdfs的hive表下。思路，hive导入分区表，只能通过临时表导入。准备数据，这种数据是textfile格式。数据是以,切分的 row format。这是解压后的，实际上的数据是.gz的。
hive 表 dml 操作.zip
最新发布
06-22
不过，可以通过创建临时表，然后使用 INSERT OVERWRITE 实现类似的效果。首先，通过 SELECT 语句生成更新后的数据，然后将这些数据写回原表，从而实现更新操作。 3. **DELETE**：Hive 同样不支持标准的 DELETE 语句...
大数据hive实现原理.zip_hive中怎么更新数据
01-07
2. **INSERT或INSERT OVERWRITE**：将需要更新的数据插入到临时表中。 3. **删除原表数据**：根据情况，可能需要清空原表。 4. **重命名操作**：将临时表重命名为原表，完成更新。 例如，如果你有一个订单表需要...
Hive配置和基本操作.pdf
10-30
4. **插入数据**：向表中插入数据通常有两种方式，一种是通过 `LOAD DATA` 命令从 HDFS 中加载数据，另一种是直接使用 SQL 语句插入数据，如 `INSERT INTO TABLE pokes VALUES (1, 'example')`。 5. **查询数据**：...
Hive配置和基本操作 (2).docx
10-30
- 插入数据： ``` INSERT INTO TABLE pokes VALUES (1, 'hello'); ``` - 更新数据： ``` UPDATE pokes SET bar = 'world' WHERE foo = 1; ``` - 删除数据： ``` DELETE FROM pokes WHERE foo = 1; ``` ...
Hive配置和基本操作 (2).pdf
10-30
- 数据加载：可以使用`LOAD DATA LOCAL INPATH`命令将本地文件系统中的数据加载到Hive表中，或者使用`INSERT INTO TABLE`或`INSERT OVERWRITE TABLE`语句直接插入数据。 - 查询数据：使用SQL语句进行查询，如`...
DataFrame registerTempTable(注册临时表)
Gloria的博客
07-24 6515
将数据存成数据集的方式是实现数据各种操作非常有效的一种方式。也能够迅速实现数据的导入与导出。 Spark DataFrame提供了registerTempTable这样的接口，可以将数据对象存成临时表，便于后续的各种查询操作等。如select, join等。 以前都是直接从数据中读入数据，生成一个dataframe对象，都没有遇到 table not found的问题。然而今天用手工创建的时候，总是会报这个错误。 res1.registerTempTable("hello") 表示是将res1这.
Hive 创建表、导入数据和插入数据操作
热门推荐
louzhu_lz的博客
05-09 1万+
Hive create table/ load data/ insert 简单操作 1、Hive创建表----直接使用create语句 (IF NOT EXISTS判断是否已存在表，BY后面接分隔符) CREATE TABLE IF NOT EXISTS 表名(字段1 数据类型,字段2 数据类型) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘,’; 比如...
有关Hive对数据库的常见操作(二)
fly66666666的博客
03-12 2020
分桶和分区一样，也是一种通过改变表的存储模式，从而完成对表优化的一种调优方式 但和分区不同，分区是将表拆分到不同的子文件夹中进行存储，而分桶是将表拆分到固定数量的不同文件中进行存储。需要map字段之间的分隔符："#"；struct类型是一个复合类型，可以在一个列中存入多个子列，每个子列允许设置类型和名称 有如下数据文件，说明：字段之间#分割，struct之间冒号分割。桶表的数据加载，由于桶表的数据加载通过load data无法执行，只能通过insert select. 所以，比较好的方式是。
Hive--临时表的三种方式
Samooyou的博客
05-27 1万+
一、临时数据方案 1、with as 1.1 使用demo witht1as( select imei ,src_pkg ,src_type ,app_version_name frombi_quickgame.dw_qgcrpk_boot_di whereday='${etl_date}' groupby ...
hive之with as 和 create temporary区别
weixin_45812067的博客
12-21 2886
在写hivesql语句时，通常因为实现一个比较复杂的逻辑时。
hive创建临时表
h18208975507的博客
03-11 1万+
方式一 create temporary table 临时表表名 as select * from 表名; hive中的临时表只对当前session有效，session退出后，表会自动删除 注: 若创建的临时表表名已经存在，那么当前session应用该表名时使用的是你创建的临时表，只有删除或者修改临时表才能使用原先存在的表。 临时表不支持分区字段和创建索引 方式二 with a1 as (select * from A) select * from a1; 1.with as 属于一次
HIVE中临时表创建
Miracle.Zhao的博客
12-19 1万+
在我们编写SQL 时候，常常需要使用到临时表。 然后我们根据这个临时表，进行之后的操作，但是创建临时表有一定的开销。 1.WITH创建临时表 如果这个临时表并不需要保存，并且下文只需要用有限的几次，我们可以采用下面的方法。 with as也叫做子查询部分，首先定义一个sql片段，该sql片段会被整个sql语句所用到，为了让sql语句的可读性更高些，作为提供数据的部分，也常常用在union等集合操作中。 with as就类似于一个视图或临时表，可以用来存储一部分的sql语句作为别名，不同的是with.
Hive将查询结果保存到另一张表中
vincent_duan的专栏
11-14 9447
例如使用查询语句select province,count(1) from track_info where day='2013-07-21' group by province ;查询出的结果如下： 我们想要将这个结果自动存储到另一张表中。 创建一张表： create table track_info_province_stat ( province string, cnt bigint ) ...
hive 向表中插入数据
07-28
总结起来，向Hive表中插入数据可以通过LOAD DATA命令将数据从本地文件系统导入到表中，或者通过创建一个新的Hive表并使用INSERT INTO语句将查询结果插入到表中。 #### 引用[.reference_title] - *1* *2* *3* [hive表...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值