hive中orc格式表的数据导入

Hive系列文章

Hive表的基本操作
Hive中的集合数据类型
Hive动态分区详解
hive中orc格式表的数据导入
Java通过jdbc连接hive
通过HiveServer2访问Hive
SpringBoot连接Hive实现自助取数
hive关联hbase表
Hive udf 使用方法
Hive基于UDF进行文本分词
Hive窗口函数row number的用法
数据仓库之拉链表

hive创建orc格式表不能像textfile格式一样直接load数据到表中,需要创建临时textfile表,然后通过insert into 或者insert overwrite到orc存储格式表中。

如果你直接load数据到orc格式表中,这个步骤可以成功,但是会发现select * from table limit 1;这个语句都会报错,也就是说直接load数据是不可行的。对于hive中orc格式表可以参见:大数据:Hive - ORC 文件存储格式
1)、创建表

需要创建临时表和数据表。
临时表

create table if not exists db.tmp
(
name string,
age int
)
partitioned by (dt string, hour string, msgtype string, action string)
row format delimited fields terminated by '\t';

更多请见:http://www.mark-to-win.com/tutorial/52294.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 是的,创建时需要指定文件格式。在Hive,可以通过使用“STORED AS”子句来指定文件格式,例如: CREATE TABLE my_table ( col1 INT, col2 STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE; 上述示例创建了一个名为“my_table”的,并将其存储为文本文件格式。在创建时,还可以使用其他文件格式,如ORC、Parquet、Avro等。 ### 回答2: 在Hive创建时,可以选择是否指定文件格式Hive支持多种文件格式,如文本格式(TextFile)、序列文件格式(SequenceFile)、行列式存储文件格式(RCFile)等。默认情况下,如果不指定文件格式,则使用文本格式作为默认格式指定文件格式有一些好处。首先,不同的文件格式适用于不同的场景和需求。例如,文本格式适用于简单的文本数据,而序列文件格式适用于需要高效查询和压缩的大规模数据集。因此,在创建时选择合适的文件格式可以提高查询性能和节省存储空间。 其次,指定文件格式还可以方便数据导入和导出。如果数据源是非文本格式,如压缩文件或其他数据,使用相应的文件格式可以直接数据导入Hive。同时,指定文件格式也可以灵活地将Hive数据导出到其他系统或平台。 总而言之,在Hive创建时可以选择是否指定文件格式,根据实际需求选择适合的格式可以提高查询性能、节省存储空间,并方便数据导入和导出。 ### 回答3: 在Hive创建时,可以选择是否指定文件格式。如果没有明确指定文件格式Hive会根据默认的设置来处理数据文件Hive默认情况下支持多种文件格式,如文本格式(TextFile)、序列文件格式(SequenceFile)、Parquet格式ORC格式等。因此,在创建时,可以根据实际需求选择合适的文件格式。 如果想要指定文件格式,可以使用“STORED AS”关键字,并在后面加上所需的文件格式。例如,可以使用以下语句在Hive创建一个存储为Parquet格式: CREATE TABLE table_name ( column1 data_type, column2 data_type ) STORED AS PARQUET; 需要注意的是,指定文件格式不仅影响数据的存储方式,还会影响到数据的查询性能。不同的文件格式数据的压缩、存储效率和查询速度上有所差异。因此,在选择文件格式时,需要考虑到数据的读写需求以及系统的性能要求。 总之,在Hive创建时,可以选择是否指定文件格式,可以根据实际需求和性能要求来决定是否需要指定文件格式

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值