HIVE文件格式和压缩(附带翻译官方文档!)

最新推荐文章于 2024-04-15 07:59:25 发布
最新推荐文章于 2024-04-15 07:59:25 发布
阅读量568 收藏 2
点赞数 1
分类专栏： hive 文章标签： hive优化 hive压缩 hive文件格式 hive官方文档 hive压缩和文件类型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tp15868352616/article/details/80889778
版权
对应官方文档:https://cwiki.apache.org/confluence/display/Hive/FileFormats
==1==>Parquet存储数据:
  Parquet文件格式简介:
    Parquet文件格式是Hadoop的生态系统范围的柱状格式(列存储!)


原文件大小:


  parquet 文件格式的使用:
    它的使用很简单,只要在建表的时候将文件类型处的参数从 该成 parquet 就行了,不好弄的是上传它对应的数据文件: 
      CREATE Table IF NOT EXISTS db_yhd.track_log_parquet(
        id              STRING,
        url             STRING,
        referer         STRING,
        keyword         STRING,
        type            STRING,
        guid            STRING,
        pageId          STRING,
        moduleId        STRING,
        linkId          STRING,
        attachedInfo    STRING,
        sessionId       STRING,
        trackerU        STRING,
        trackerType     STRING,
        ip              STRING,
        trackerSrc      STRING,
        cookie          STRING,
        orderCode       STRING,
        trackTime       STRING,
        endUserId       STRING,
        firstLink       STRING,
        sessionViewNo   STRING,
        productId       STRING,
        curMerchantId   STRING,
        provinceId      STRING,
        cityId          STRING,
        fee             STRING,
        edmActivity     STRING,
        edmEmail        STRING,
        edmJobId        STRING,
        ieVersion       STRING,
        platform        STRING,
        internalKeyword STRING,
        resultSum       STRING,
        currentPage     STRING,
        linkPosition    STRING,
        buttonPosition  STRING
        )
        Partitioned by (date_str String,hour_str STRING)
        ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t"
        STORED AS parquet #重点就是这个类型的选择!
  得到数据,想要得到它对应的数据类型的文件,还是有点繁琐的,需要通过查询TEXTFILE(文本文档)类型数据,将查询的数据按照字段添加!
        用INSERT语句将查询的结果添加到刚刚创建的表中!
         
        INSERT OVERWRITE TABLE db_yhd.track_log_parquet PARTITION (date_str="20150828", hour_str="18")IF NOT EXISTS 
        select
            id,
            url,
            referer,
            keyword,
            type,
            guid,
            pageId,
            moduleId,
            linkId,
            attachedInfo,
            sessionId,
            trackerU,
            trackerType,
            ip,trackerSrc,
            cookie,
            orderCode,
            trackTime,
            endUserId,
            firstLink,
            sessionViewNo,
            productId,
            curMerchantId,
            provinceId,
            cityId,
            fee,
            edmActivity,
            edmEmail,
            edmJobId,
            ieVersion,
            platform,
            internalKeyword,
            resultSum,
            currentPage,
            linkPosition,
            buttonPosition
        FROM
        db_yhd.track_log
        WHERE
        date_str="20150828" and hour_str="18";

文件大小:

 

 用db_yhd.track_log表相同的查询语句测试该文件格式是否使用成功!(结果相同则成功!)

        SELECT
            date_str,
            hour_str,
            count(url) as pv,
            count(distinct guid) as uv
        FROM
            db_yhd.track_log_parquet
        WHERE
            length(trim(url))>0 and date_str="20150828"
        GROUP BY
            date_str,hour_str

==2==>压缩格式:
    hive的压缩格式有:(snappy,LOZ,ZIP,GZIP等一些压缩格式)
    注意,不同的文件类型支持的牙压缩格式是太相同的,且不同的文件格式创建的表指定压缩格式的方式以不同!
==3==>parquet文件格式+snappy压缩:
    ->压缩文件是一个很好的减小磁盘压力的一个方法!再加上parquet文件格式也能很好的减小磁盘压力,两者结合就更加牛了!
        
    ->parquet文件格式所对应的表需要在创建表前设置它的压缩格式: 
        set parquet.compression=压缩格式;
    ->创建snappy压缩+parquet文件格式的表:
      
   set parquet.compression=snappy;
        接下来表的创建方式就同普通的创建RCFile文件格式的表是相同的:
    
     CREATE Table IF NOT EXISTS db_yhd.track_log_parquet_snappy(
        id              STRING,
        url             STRING,
        referer         STRING,
        keyword         STRING,
        type            STRING,
        guid            STRING,
        pageId          STRING,
        moduleId        STRING,
        linkId          STRING,
        attachedInfo    STRING,
        sessionId       STRING,
        trackerU        STRING,
        trackerType     STRING,
        ip              STRING,
        trackerSrc      STRING,
        cookie          STRING,
        orderCode       STRING,
        trackTime       STRING,
        endUserId       STRING,
        firstLink       STRING,
        sessionViewNo   STRING,
        productId       STRING,
        curMerchantId   STRING,
        provinceId      STRING,
        cityId          STRING,
        fee             STRING,
        edmActivity     STRING,
        edmEmail        STRING,
        edmJobId        STRING,
        ieVersion       STRING,
        platform        STRING,
        internalKeyword STRING,
        resultSum       STRING,
        currentPage     STRING,
        linkPosition    STRING,
        buttonPosition  STRING
        )
        Partitioned by (date_str String,hour_str STRING)
        ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t"
        STORED AS parquet
    ->查询原来的文本文件类型的表,将查询结果放到刚刚创建的表中: 
        INSERT OVERWRITE TABLE db_yhd.track_log_parquet_snappy PARTITION (date_str="20150828", hour_str="18")IF NOT EXISTS 
        select
            id,
            url,
            referer,
            keyword,
            type,
            guid,
            pageId,
            moduleId,
            linkId,
            attachedInfo,
            sessionId,
            trackerU,
            trackerType,
            ip,trackerSrc,
            cookie,
            orderCode,
            trackTime,
            endUserId,
            firstLink,
            sessionViewNo,
            productId,
            curMerchantId,
            provinceId,
            cityId,
            fee,
            edmActivity,
            edmEmail,
            edmJobId,
            ieVersion,
            platform,
            internalKeyword,
            resultSum,
            currentPage,
            linkPosition,
            buttonPosition
        FROM
        db_yhd.track_log
        WHERE
        date_str="20150828" and hour_str="18";

文件大小:

   

 ->查询刚刚创建的表,查看结果是否相同:(相同就正确,不同就表示出错了!)

        SELECT
            date_str,
            hour_str,
            count(url) as pv,
            count(distinct guid) as uv
        FROM
            db_yhd.track_log_parquet_snappy
        WHERE
            length(trim(url))>0 and date_str="20150828"
        GROUP BY
            date_str,hour_str


==4==>ORC格式存储 + snappy压缩 

    ->与RCFile格式相比，ORC文件格式具有许多优点，例如：
        一个文件作为每个任务的输出，这减少了NameNode的负载
        Hive类型支持包括日期时间，小数点和复杂类型（结构，列表，映射和联合）
        存储在文件中的轻量级索引
        跳过不通过谓词过滤的行组
        寻求一个给定的行
        基于数据类型的块模式压缩
        整数列的运行长度编码
        字符串列的字典编码
        使用单独的RecordReaders并发读取同一文件
        无需扫描标记即可拆分文件
        限制了读或写所需的内存量
        使用Protocol Buffers存储的元数据，允许添加和删除字段
    
    ->ORC格式对应的压缩格式:
        默认:ZLIB  
        可设置: NONE(没有压缩格式!)，ZLIB，SNAPPY


    ->ORC格式存储对应表的指定压缩方式:
        在创建表的同时加上:TBLPROPERTIES ("orc.compress"="压缩格式")
        
    ->创建ORC格式存储 + snappy压缩表: 
        CREATE Table IF NOT EXISTS db_yhd.track_log_orc_snappy(
        id              STRING,
        url             STRING,
        referer         STRING,
        keyword         STRING,
        type            STRING,
        guid            STRING,
        pageId          STRING,
        moduleId        STRING,
        linkId          STRING,
        attachedInfo    STRING,
        sessionId       STRING,
        trackerU        STRING,
        trackerType     STRING,
        ip              STRING,
        trackerSrc      STRING,
        cookie          STRING,
        orderCode       STRING,
        trackTime       STRING,
        endUserId       STRING,
        firstLink       STRING,
        sessionViewNo   STRING,
        productId       STRING,
        curMerchantId   STRING,
        provinceId      STRING,
        cityId          STRING,
        fee             STRING,
        edmActivity     STRING,
        edmEmail        STRING,
        edmJobId        STRING,
        ieVersion       STRING,
        platform        STRING,
        internalKeyword STRING,
        resultSum       STRING,
        currentPage     STRING,
        linkPosition    STRING,
        buttonPosition  STRING
        )
        Partitioned by (date_str String,hour_str STRING)
        ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t"
        STORED AS ORC
        TBLPROPERTIES ("orc.compress"="SNAPPY")  #重点在这里,指定压缩格式
    ->查询行数据类型表,将查询结果放到刚刚创建的表中 
        INSERT OVERWRITE TABLE db_yhd.track_log_orc_snappy PARTITION (date_str="20150828", hour_str="18")IF NOT EXISTS 
        select
            id,
            url,
            referer,
            keyword,
            type,
            guid,
            pageId,
            moduleId,
            linkId,
            attachedInfo,
            sessionId,
            trackerU,
            trackerType,
            ip,trackerSrc,
            cookie,
            orderCode,
            trackTime,
            endUserId,
            firstLink,
            sessionViewNo,
            productId,
            curMerchantId,
            provinceId,
            cityId,
            fee,
            edmActivity,
            edmEmail,
            edmJobId,
            ieVersion,
            platform,
            internalKeyword,
            resultSum,
            currentPage,
            linkPosition,
            buttonPosition
        FROM
        db_yhd.track_log
        WHERE
        date_str="20150828" and hour_str="18";

数据大小:


    ->用行数据类型的表查询语句,查询刚刚创建的表!(结果相同则成功,否则失败!) 
        SELECT
            date_str,
            hour_str,
            count(url) as pv,
            count(distinct guid) as uv
        FROM
            db_yhd.track_log_orc_snappy
        WHERE
            length(trim(url))>0 and date_str="20150828"
        GROUP BY
            date_str,hour_str

  

                                   


作者:唐平

时间:2018-7-2  

  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
    
    
不觉-
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[网络安全自学篇] 八十四.《Windows黑客编程技术详解》之VS环境配置、基础知识及DLL延迟加载详解（1）
杨秀璋的专栏
06-19 1万+
从这篇文章开始，作者将带着大家来学习《Windows黑客编程技术详解》，其作者是甘迪文老师，推荐大家购买来学习。作者将采用实际编程和图文结合的方式进行分享，并且会进一步补充知识点。第一篇文章主要包括两部分内容，开发环境（VS、编译设置）、基础技术、运行单一实例（互斥对象示例）、DLL延迟加载（skin++换皮肤示例）、资源释放（MFC示例）。希望对您有所帮助~
创建hive表，指定存储和压缩格式
徐磊的博客
04-12 9125
一、指定存储格式是ORC，压缩格式是orc默认的ZLIB压缩 建表语句 create table log_orc_none( track_time string, url string, session_id string, referer string, ip string, end_user_id string, city_id string ) row format delimited fi...
hive文件存储格式
weixin_34302798的博客
01-03 156
hive文件存储格式包括以下几类： TEXTFILE SEQUENCEFILE RCFILE 自定义格式 其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理。 SequenceFile,RCFile格式的表不能直接从本地文件导入数据，数据要先导入到textfile格式的表中，然后再从textfile表中用insert导入到S...
hive之文件格式与压缩
&volume的博客
07-23 1155
为Hive表中的数据选择一个合适的文件格式，对提高查询性能的提高是十分有益的。Hive表数据的存储格式，可以选择text file、orc、parquet、sequence file等。ORC（Optimized Row Columnar）file format是Hive 0.11版里引入的一种列式存储的文件格式。ORC文件能够提高Hive读写数据和处理数据的性能。我们文件一般都是一个二维表，行式存储就是以一行数据为一个单位，存储在相邻的位置，列示存储是以一列数据为单位，一个单位内的数据放在相邻的位置。
Hive优化--文件压缩格式
点点滴滴一世界
10-20 421
1.1.    Hive表文件及中间文件使用合适的文件压缩格式 GZip和Snappy，这两种压缩算法在大数据应用中最常见，适用范围最广，压缩率和速度都较好，读取数据也不需要专门的解压操作，对编码来说透明。 压缩率跟数据有关，通常从2到5不等；两种算法中，GZip的压缩率更高，但是消耗CPU更高，Snappy的压缩率和CPU消耗更均衡。     对于存储资源受限或客户要求文件必须压缩的场景，
(10)Hive的相关概念——文件格式和数据压缩
爱吃辣条的博客
02-15 1684
Hive的相关概念——文件格式和数据压缩
大数据Hadoop、Hive、Kafka、Hbase、Spark等框架面经
m0_46689661的博客
12-05 9727
大数据Hadoop、Hive、Kafka、Hbase、Spark等框架面经
Apache Flume1.8.0用户手册官方文档理解
weixin_40483882的博客
08-09 1731
Flume 1.8.0 User Guide 本博客翻译自Apache Flume官网，原文点此查看 Introduce overview Apache Flume是一种分布式、可靠、可用的系统，它可以从很多不同的源头高效地收集、聚合以及传输大量的日志数据到一个中心数据库。 对Flume的应用其实并不局限于对日志数据的聚合。由于数据源是定制的，因此Flume可以传输大量事件数...
【手册】CDH6.3.2及hadoop生态圈工具安装部署手册（附带安装包）
遇事不决问春风
05-13 2070
大数据测试环境CDH6.3.2安装部署手册 一、前期准备 1、服务器3台，系统要求centos7,服务器配置24核心+64G内存+2.7T磁盘 2、CDH6.3.2相关资源，目前在线下载已收费，只能采用离线安装 3、CM6.3.1相关资源，目前在线下载已收费，只能采用离线安装 4、mysql驱动，jdk安装包 5、集群规划 6、Flink1.12目前官网没有提供，官网只提供了flink1.9版本的集成，如需使用需要自己编译。 内存 磁盘 CPU cm cdh Mysql Hive Impala K
Hadoop生态圈 大数据文档
BigData_XiaoBai的博客
12-01 783
文档基于介绍基于Hadoop的大数据生态圈。介绍下图每一个组件的使用场景及使用方法，同时还对每一个组件有更深入的介绍。 ..
HIVE资料.zip
05-20
hive的学习资料，感兴趣的同学可以学习一下
hive驱动压缩包.zip
06-16
在虚拟机Linux系统上面安装部署hive后，如果需要在Windows系统上的IntelliJ IDEA 2020.3.3中连接使用Linux系统上的hive需要用到的驱动程序。包含：hive-exec-2.3.9.jar 、hive-jdbc-2.3.9.jar、hive-service-2.3.9.jar
hive压缩
weixin_38251332的博客
02-22 2717
Hadoop压缩数据流程 hadoop中有三个阶段可以用到压缩，分别是Map，Shuffle和Reduce，其中Map阶段首先对输入的数据进行压缩，然后在Map的job中进行解压并对数据进行业务处理，将结果写入磁盘的时候进行数据的压缩，Shuffle的过程中将磁盘中压缩的文件内容读取出来，然后传递给Reduce，Reduce中对数据再进行解压并做业务处理，整个过程都计算完毕后再用压缩对输出进行压缩。其数据流程可以用下面的流程表示： 压缩的输入文件->(解压数据)->Maps->压缩输
[Hive基础]-- Hive table 的压缩方式和存储格式
欢迎来到我的博客，一起探索代码里的世界！
04-06 2580
一、了解 Hadoop 的压缩方式 1.Hadoop 的压缩方式的基本信息 压缩格式 扩展名 多文件 支持切片 压缩比排行 解压速度排行 工具 hadoop自带 gzip .gz 否 否 2 3 gzip 是 bzip2 .bz2 是 是 1 4 bzip2 是 lzo .lzo 否 是 3 2 lzop 否 snappy
hive的压缩和文件存储
weixin_43086604的博客
01-10 283
压缩 压缩方式有：Gzip、BZip2、LZO、Snappy 1、BZip2有最高的压缩比但也会带来更高的CPU开销，Gzip较BZip2次之。如果基于磁盘利用率和I/O考虑，这两个压缩算法都是比较有吸引力的算法。 2、LZO和Snappy算法有更快的解压缩速度，如果更关注压缩、解压速度，它们都是不错的选择。 LZO和Snappy在压缩数据上的速度大致相当，但Snappy算法在解压速度上要较LZO...
Hive的几种常见的压缩格式
zll_1234的博客
07-24 1580
一.测试背景 工作中想把历史的结构化数据到Hive中进行查询，由于数据较大，需要进行压缩，根据Hive官方提供的几种压缩格式分别进行写入，读取，OLAP计算的性能测试，以求找到最好的压缩格式。 二.测试方法概述 1、数据来源：采用生产上数据抽样，大小为100G。原始日志格式为textfile文件（标准JSON）。 2、测试平台：公司Ambari测试平台，物理内存100G。 3、测试方法：将tex...
HIVE压缩及存储方式
weixin_46290444的博客
07-06 729
1. Gzip2. Bzip2优点： 支持分片，具有很高的压缩率，比gzip压缩率都高，Hadoop本身支持。缺点： 压缩/解压速度慢，不支持Hadoop native库。应用场景： 可以作为mapreduce作业的输出格式，输出之后的数据比较大，处理之后的数据需要压缩存档减少磁盘空间并且以后数据用得比较少的情况。3. LZO4. Snappy5. 总结 在其中textfile为默认格式，如果在创建hive表不提及，会默认启动textfile格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理；与此同
hive文件存储格式orc和parquet详解_orc文件，从入门到精通的大数据开发进阶学习笔记整理
最新发布
2401_84166278的博客
04-15 1571
通过orc文件的索引，可以快速定位要查询的数据块，规避不满足查询条件的数据块和文件，相比读取传统的数据文件，进行查找时需要遍历全部数据，使用orc可以避免磁盘和网络的I/O浪费，从而提高查询效率。如果要读取某列的数据，可以在读取行组的基础上读取指定的列，而不需要读取行组内所有数据以及一行内的所有字段数据。hive.exec.orc.default.stripe.size: 每个stripe文件，可以会用的缓冲池大小，默认64MB。包含了stripe列表，每个stripe包含的行数，以及每个列的数据类型。
【004hive基础】hive的文件存储格式与压缩
hiliang521的博客
05-22 2153
hive文件存储格式与压缩
hive官方文档翻译
01-23
根据提供的引用内容，以下是关于Hive官方文档翻译的介绍： Hive官方文档提供了关于Hive的详细信息和使用指南。它包含了Hive的数据定义语言（DDL）操作的文档，以及如何创建Hive表的示例。 例如，可以使用以下命令在Hive中创建一个名为pokes的表： ```shell hive> CREATE TABLE pokes (foo INT, bar STRING); ``` 这将创建一个具有两个列（foo和bar）的表，其中foo列的数据类型为INT，bar列的数据类型为STRING。 Hive官方文档还提供了其他有关Hive的信息，例如如何使用Hive进行数据查询和分析，如何使用Hive进行数据导入和导出等。 如果你想了解更多关于Hive的信息，我建议你查阅Hive官方文档。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值