Hive表的存储格式

最新推荐文章于 2024-05-18 16:10:40 发布
最新推荐文章于 2024-05-18 16:10:40 发布
阅读量2.5k 收藏 12
点赞数 6
分类专栏： HIve 文章标签： hive hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46292457/article/details/124709282
版权

Hive表的存储格式

文件格式-概述
在这里插入图片描述

Hive的文件格式-TextFile

  • TextFile 是Hive中默认的文件格式 存储形式为按行存储
  • 工作中最常见的数据文件格式就是TextFile，几乎所有的原始数据生成都是TextFile格式，所以HIve设计时考虑到为了避免各种编码以及数据错乱的问题 选用TextFile为默认的格式
  • 建表时不指定格式即为TextFile 导入数据时把数据文件拷贝HDFS不做任何处理
    在这里插入图片描述
    文件大小在hdfs和本地 没有什么变化
    在这里插入图片描述

Hive的文件格式-SequenceFile

  • SequenceFile 是Hadoop里面用来存储序列化的键值对既二进制的一种文件格式
  • SequenceFile 文件也可以作为MapReduce作业的输入和输出 hive也支持这种格式
    在这里插入图片描述
    在这里插入图片描述

Hive的文件格式-Parquet

  • Parquet是一种支持嵌套结构的列式存储文件格式 最早由Twitter和Cloudera合作开发，2015年5月Apache孵化器里毕业成为Apache顶级项目
  • 是一种支持嵌套数据模型 对列式存储系统，作为大数据系统中OLAP查询的优化方案，他已经被多种查询引擎原生支持，并且部分高性能引擎将其作为默认的文件存储
    在这里插入图片描述
    在这里插入图片描述

在这里插入图片描述
在大数据当中使用Parquet load直接加载数据 并不能编程Parquet格式 只能insert

Hive的文件格式-ORC

  • ORC文件格式也是一种Hadoop生态圈中的列式存储格式
  • 它的产生早在2013年初 最初产生Apache HIve 用于降低Hadoop 数据存储空间和加速HIve查询效率
  • 2015年PRC项目被Apache项目基金会提升为Apache顶级项目
    在这里插入图片描述
    Parquet和ORC 都是推荐使用的 但是优先推荐ORC
    在这里插入图片描述
    153MB-》32MB 压缩率
    底层二进制
Harvester~
关注
  • 6
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CDH550@hive存储格式和HQL材料
11-14
CDH550下的hive的存储格式介绍和HQL的详细说明。一般数据存储模式主要有三种，1）行存储；2）列存储；3）混合存储。 1）行存储模式就是：把一整行存在一起，包含所有的列，这是最常见的模式。这种结构能很好的适应动态的查询
hive的4种存储格式以及使用场景
xieedeni的博客
11-04 3183
在hive中，较常见的文件存储格式有：TestFile、SequenceFile、RcFile、ORC、Parquet、AVRO。默认的文件存储格式是TestFile，在建表时若不指定默认为这个格式，那么导入数据时会直接把数据文件拷贝到hdfs上不进行处理。除TestFile外的其他格式的表不能直接从本地文件导入数据，数据要先导入到TestFile格式的表中，然后再从表中用insert导入到其他格式的表中。 TestFile格式 在建表时无需指定，Hive的默认文件格式，文件存储方式为正常的文本格式。以T
Hive支持的文件存储格式（重点）
m0_51697147的博客
04-07 952
一、Hive支持哪些文件存储格式？ Hive支持的文件储存格式主要有： ...
【Hive】hive表的文件存储格式
Just Do IT
06-26 2850
在Hive中，文件的存储格式主要有：TEXTFILE、SEQUENCEFILE、ORC、PARQUET。 其中，TEXTFILE、SEQUENCEFILE是基于行存储，ORC、PARQUET基于列存储。 实际生产环境，使用ORC和PARQUET的情况比较多。 1. 行存储和列存储 上图中左边为逻辑表，右上为行存储，右下为列存储。 当查询结果为一整行的时候，行存储效率会高一些；当查询表中某几列时，列存储的效率会更高。 在对数据的压缩方面，列存储比行存储更有优势，所以列存储占用空间相对小一些。 2. TEXT
Hive 存储格式详解
qq_34125999的博客
03-15 856
Hive支持的存储数的格式主要有：TEXTFILE（行式存储） 、SEQUENCEFILE(行式存储)、ORC（列式存储）、PARQUET（列式存储）。
Hive文件格式（表stored as 的五种类型）
热门推荐
yangshaojun1992的博客
12-20 2万+
hive文件存储格式包括以下几类： 1、TEXTFILE 2、SEQUENCEFILE 3、RCFILE 4、ORCFILE(0.11以后出现) 5、PARQUET 1、其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理；     SEQUENCEFILE，RCFILE，ORCFILE,PARQUET格式的表不能直接从本地...
hive文件存储格式
m0_61607827的博客
04-07 6203
在 HiveSQL 的 create table 语句中，可以使用 stored as ... 指定表的存储格式。Apache Hive 支持 Apache Hadoop 中使用的几种熟悉的文件格式，比如TextFile、SequenceFile、RCFile、 Avro、ORC、ParquetFile等。 列式存储和行式存储 TEXTFILE 和 SEQUENCEFILE 的存储格式都是基于行存储的，ORC 和 PARQUET 是基于列式存储的。 第一种：TextFile 1、存储方式：.
hive常用命令
x_lock的博客
04-30 909
1.显示数据库/表的信息: 创建数据库hive> CREATE DATABASE [IF NOT EXISTS] userdb; 切换数据库的时候可以输入：use database_name； 查看所有数据库的时候可以输入：show databases; 查看所有表的时候可以输入：show tables; 看表结构的时候可以输入：describe t
hive文件存储格式对比实验测试数据
08-25
hive测试数据，其中为日志类型，用于验证在hive中主流文件存储格式对比实验
Hive的数据存储模式
10-08
Hive的数据存储模式Hive的数据存储模式Hive的数据存储模式Hive的数据存储模式
Hive中文件存储格式对比实验测试数据
12-08
Hive中文件存储格式对比实验测试数据
hive元数据批量生成建表语句，含存储格式、存储位置信息；使用MSSQL的sql语言
01-26
hive元数据批量生成建表语句，含存储格式、存储位置信息；使用MSSQL的sql语言。
Hive之文件格式
ly13607255628的博客
10-10 1090
Hive支持的存储数的格式主要有：TEXTFILE（默认格式） 、SEQUENCEFILE、RCFILE、ORCFILE、PARQUET。 textfile为默认格式，建表时没有指定文件格式，则使用TEXTFILE，导入数据时会直接把数据文件拷贝到hdfs上不进行处理； sequencefile，rcfile，orcfile格式的表不能直接从本地文件导入数据，数据要先导入到textfile格式的表中， 然后再从表中用insert导入sequencefile、rcfile、orcfile表中。 行存储与列
Hive的压缩格式和数据存储格式
m0_46503302的博客
01-09 944
所以最终建议，在工作中选择ORC+Snappy。 但是有时候在选择数据存储格式的时候还需要考虑它的兼容度，是否支持多种计算引擎。 假设我希望这一份数据，既可以在Hive中使用，还希望在Impala中使用，这个时候就需要重点考虑这个数据格式是否能满足多平台同时使用。 Impala很早就开始支持Parquet数据格式了，但是不支持ORC数据格式，不过从Impala 3.x版本开始也支持ORC了。 如果你们使用的是Impala2.x版本，还想要支持Hive和Impala查询同一份数据，这个时候就需要选择Par
Hive数据类型和文件格式
W_chuanqi的博客
06-08 1552
转换的原则是从数据范围小的类型向数据范围大的类型转换，或从数据精度低的类型向数据精度高的类型转换，以保证数据和精度不丢失。employees表的第1行记录看上去和下面展示的一样，它用到了上面表格中的分隔符。Hive中经常经使用未经压缩的文本文件来存储数据，各字段之间如何保证正确分隔，分隔符的选择十分重要，已选定的分隔符不能出现在数据中。Hive 的 STRING 类型相当于数据库的 varchar 类型，该类型是一个可变的字符串，不过它不限定最多能存储多少个字符，理论上它可以存储 2GB 的字符数。
Hive常用命令
weixin_41812379的博客
11-09 2122
Hive数据类型 1. 基本数据类型 2. 集合数据类型 3. 案例 (1) 假设某表有如下一行，我们用 JSON 格式来表示其数据结构。在 Hive 下访问的格式为： { "name": "songsong", "friends": ["bingbing" , "lili"] , //列表 Array, "children": { //键值 Map, "xiao song": 18 , "xiaoxiao song": 19 } "address": { //结构 Struct, "
hive对数据库及表的操作
qq_51691017的博客
10-21 1175
hive对数据库及表的操作
HIVE基础-文件存储格式
小猿天地
11-03 2265
对 HIVE 文件四种主要存储格式（textfile、sequencefile、orc、parquet）进行详细介绍
【Hive SQL 每日一题】统计最近7天内连续下单3日的用户量
最新发布
JIE的博客 --- moon_coder
05-18 580
通过上面的规律可以发现，如果日期是连续的，那么当它们减去一串顺序的数字后，得到的结果是一致的，我们可以利用这一规则，判断日期是否连续。在这个需求中，并不关心用户购买了多少商品，在意的是用户是否进行了下单，同天下单多次的用户也只算作一次。日内满足多次该条件，但是在这个需求中，每个用户只能算一次，所以还需要去重才能得到最终结果。其实很简单，我们可以通过开窗的方式，计算日期是否连续，我这里是通过打标记来实现的。那么现在来说说这个需求是如何实现的，通过如下。现在得到的结果并不是最终的结果，因为某个用户（
hive修改表的存储格式
06-10
要修改Hive表的存储格式，需要执行以下步骤： 1. 创建一个新表，指定所需的存储格式。 2. 将原始表中的数据导入新表中。 3. 删除原始表。 4. 重命名新表为原始表的名称。 以下是一个修改Hive表存储格式的示例： 1...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值