hive来进行格式转换

已于 2023-04-19 15:44:17 修改
阅读量1.2k 收藏
点赞数
文章标签： hive
于 2023-04-17 16:21:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42462308/article/details/130201765
版权

hive格式介绍

demo

  1. Textfile：行式存储，这是hive表的默认存储格式，默认不做数据压缩，磁盘开销大，数据解析开销大，数据不支持分片（即代表着会带来无法对数据进行并行操作）
  2. ORC：行列式存储，将数据按行分块，每个块按列存储，其中每个块都存储着一个索引，支持none和zlib和snappy这3种压缩方式，默认采用zlib压缩方式，不支持切片，orc存储格式能提高hive表的读取写入和处理的性能。
  3. Parquet：列式存储，是一个面向列的二进制文件格式（不可直接读取），文件中包含数据和元数据，所以该存储格式是自解析的，在大型查询时效率很快高效，parquet主要用在存储多层嵌套式数据上提供良好的性能支持，默认采用uncompressed不压缩方式。

hive主要支持gzip、zlib、snappy、lzo 这四种压缩方式。

hive建表，创建一个csv格式的表 & 插入数据

CREATE EXTERNAL TABLE IF NOT EXISTS `test_format`(
  `code` string COMMENT 'import id', 
  `vin` string COMMENT 'import name', 
  `vichel` string COMMENT 'import message')
row format delimited fields terminated by ',' 
LINES TERMINATED BY '\n' 
stored as textfile;

hive> show create table test_format;
OK
CREATE EXTERNAL TABLE `test_format`(
  `code` string COMMENT 'import id',
  `vin` string COMMENT 'import name',
  `vichel` string COMMENT 'import message')
ROW FORMAT SERDE
  'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
WITH SERDEPROPERTIES (
  'field.delim'=',',
  'line.delim'='\n',
  'serialization.format'=',')
STORED AS INPUTFORMAT
  'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  'hdfs://emr-header-1.cluster-49091:9000/user/hive/warehouse/test_format'
TBLPROPERTIES (
  'transient_lastDdlTime'='1681719612')
# 插入数据
load data local inpath '/home/hadoop/test.txt' overwrite into table test_format;

hive建表，创建一个parquest格式的表

CREATE EXTERNAL TABLE IF NOT EXISTS  test_parquet(
  `code` string COMMENT 'import id', 
  `vin` string COMMENT 'import name', 
  `vichel` string COMMENT 'import message') 
STORED AS PARQUET;

hive> show create table test_parquet;
OK
CREATE EXTERNAL TABLE `test_parquet`(
  `code` string COMMENT 'import id',
  `vin` string COMMENT 'import name',
  `vichel` string COMMENT 'import message')
ROW FORMAT SERDE
  'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
STORED AS INPUTFORMAT
  'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat'
OUTPUTFORMAT
  'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
LOCATION
  'hdfs://emr-header-1.cluster-49091:9000/user/hive/warehouse/test_parquet'
TBLPROPERTIES (
  'transient_lastDdlTime'='1681719650')

hive建表，创建一个orc格式的表

CREATE EXTERNAL TABLE IF NOT EXISTS  test_orc(
  `code` string COMMENT 'import id', 
  `vin` string COMMENT 'import name', 
  `vichel` string COMMENT 'import message') 
STORED AS ORC;

hive> show create table test_orc;
OK
CREATE EXTERNAL TABLE `test_orc`(
  `code` string COMMENT 'import id',
  `vin` string COMMENT 'import name',
  `vichel` string COMMENT 'import message')
ROW FORMAT SERDE
  'org.apache.hadoop.hive.ql.io.orc.OrcSerde'
STORED AS INPUTFORMAT
  'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat'
OUTPUTFORMAT
  'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat'
LOCATION
  'hdfs://emr-header-1.cluster-49091:9000/user/hive/warehouse/test_orc'
TBLPROPERTIES (
  'transient_lastDdlTime'='1681720136')

然后将csv数据插入到parquet格式和orc格式的表中

insert overwrite table test_parquet select * from test_format;
insert overwrite table test_orc select * from test_format;

数据导出到本地

insert overwrite local directory '/home/hadoop/orc' select * from test_orc;
insert overwrite local directory '/home/hadoop/parquet' select * from test_parquet;

非常简单的教程：https://www.yiibai.com/hive/hive_create_table.html
建表语句参考：https://blog.csdn.net/hyj_king/article/details/126776080
数据转换过程：https://www.freesion.com/article/9733618966/
hive的数据导出的几种方式：https://blog.csdn.net/hyj_king/article/details/96849837

ssb数据的转换

hive侧各个表的结构

# customer表
# csv
CREATE TABLE IF NOT EXISTS `customer_csv` (
    `c_custkey` int  COMMENT "",
    `c_name` string  COMMENT "",
    `c_address` string  COMMENT "",
    `c_city` string  COMMENT "",
    `c_nation` string  COMMENT "",
    `c_region` string  COMMENT "",
    `c_phone` string  COMMENT "",
    `c_mktsegment` string  COMMENT ""
)
row format delimited fields terminated by ',' 
LINES TERMINATED BY '\n' 
STORED AS textfile;

# orc
CREATE TABLE IF NOT EXISTS `customer_orc` (
    `c_custkey` int  COMMENT "",
    `c_name` string  COMMENT "",
    `c_address` string  COMMENT "",
    `c_city` string  COMMENT "",
    `c_nation` string  COMMENT "",
    `c_region` string  COMMENT "",
    `c_phone` string  COMMENT "",
    `c_mktsegment` string  COMMENT ""
)
STORED AS orc;

# parquet
CREATE TABLE IF NOT EXISTS `customer_parquet` (
    `c_custkey` int  COMMENT "",
    `c_name` string  COMMENT "",
    `c_address` string  COMMENT "",
    `c_city` string  COMMENT "",
    `c_nation` string  COMMENT "",
    `c_region` string  COMMENT "",
    `c_phone` string  COMMENT "",
    `c_mktsegment` string  COMMENT ""
)
STORED AS parquet;

dates表

CREATE TABLE IF NOT EXISTS `dates_csv` (
    `d_datekey` int  COMMENT "",
    `d_date` string  COMMENT "",
    `d_dayofweek` string  COMMENT "",
    `d_month` string  COMMENT "",
    `d_year` int  COMMENT "",
    `d_yearmonthnum` int  COMMENT "",
    `d_yearmonth` string  COMMENT "",
    `d_daynuminweek` int  COMMENT "",
    `d_daynuminmonth` int  COMMENT "",
    `d_daynuminyear` int  COMMENT "",
    `d_monthnuminyear` int  COMMENT "",
    `d_weeknuminyear` int  COMMENT "",
    `d_sellingseason` string  COMMENT "",
    `d_lastdayinweekfl` int  COMMENT "",
    `d_lastdayinmonthfl` int  COMMENT "",
    `d_holidayfl` int  COMMENT "",
    `d_weekdayfl` int  COMMENT ""
) 
row format delimited fields terminated by ',' 
LINES TERMINATED BY '\n' 
STORED AS textfile;

CREATE TABLE IF NOT EXISTS `dates_orc` (
    `d_datekey` int  COMMENT "",
    `d_date` string  COMMENT "",
    `d_dayofweek` string  COMMENT "",
    `d_month` string  COMMENT "",
    `d_year` int  COMMENT "",
    `d_yearmonthnum` int  COMMENT "",
    `d_yearmonth` string  COMMENT "",
    `d_daynuminweek` int  COMMENT "",
    `d_daynuminmonth` int  COMMENT "",
    `d_daynuminyear` int  COMMENT "",
    `d_monthnuminyear` int  COMMENT "",
    `d_weeknuminyear` int  COMMENT "",
    `d_sellingseason` string  COMMENT "",
    `d_lastdayinweekfl` int  COMMENT "",
    `d_lastdayinmonthfl` int  COMMENT "",
    `d_holidayfl` int  COMMENT "",
    `d_weekdayfl` int  COMMENT ""
) 
STORED AS orc;

CREATE TABLE IF NOT EXISTS `dates_parquet` (
    `d_datekey` int  COMMENT "",
    `d_date` string  COMMENT "",
    `d_dayofweek` string  COMMENT "",
    `d_month` string  COMMENT "",
    `d_year` int  COMMENT "",
    `d_yearmonthnum` int  COMMENT "",
    `d_yearmonth` string  COMMENT "",
    `d_daynuminweek` int  COMMENT "",
    `d_daynuminmonth` int  COMMENT "",
    `d_daynuminyear` int  COMMENT "",
    `d_monthnuminyear` int  COMMENT "",
    `d_weeknuminyear` int  COMMENT "",
    `d_sellingseason` string  COMMENT "",
    `d_lastdayinweekfl` int  COMMENT "",
    `d_lastdayinmonthfl` int  COMMENT "",
    `d_holidayfl` int  COMMENT "",
    `d_weekdayfl` int  COMMENT ""
) 
STORED AS parquet;

lineorder表

CREATE TABLE IF NOT EXISTS `lineorder_csv` (
    `lo_orderkey` int  COMMENT "",
    `lo_linenumber` int  COMMENT "",
    `lo_custkey` int  COMMENT "",
    `lo_partkey` int  COMMENT "",
    `lo_suppkey` int  COMMENT "",
    `lo_orderdate` int  COMMENT "",
    `lo_orderpriority` string  COMMENT "",
    `lo_shippriority` int  COMMENT "",
    `lo_quantity` int  COMMENT "",
    `lo_extendedprice` int  COMMENT "",
    `lo_ordtotalprice` int  COMMENT "",
    `lo_discount` int  COMMENT "",
    `lo_revenue` int  COMMENT "",
    `lo_supplycost` int  COMMENT "",
    `lo_tax` int  COMMENT "",
    `lo_commitdate` int  COMMENT "",
    `lo_shipmode` string  COMMENT ""
)
row format delimited fields terminated by ',' 
LINES TERMINATED BY '\n' 
STORED AS textfile;

CREATE TABLE IF NOT EXISTS `lineorder_orc` (
    `lo_orderkey` int  COMMENT "",
    `lo_linenumber` int  COMMENT "",
    `lo_custkey` int  COMMENT "",
    `lo_partkey` int  COMMENT "",
    `lo_suppkey` int  COMMENT "",
    `lo_orderdate` int  COMMENT "",
    `lo_orderpriority` string  COMMENT "",
    `lo_shippriority` int  COMMENT "",
    `lo_quantity` int  COMMENT "",
    `lo_extendedprice` int  COMMENT "",
    `lo_ordtotalprice` int  COMMENT "",
    `lo_discount` int  COMMENT "",
    `lo_revenue` int  COMMENT "",
    `lo_supplycost` int  COMMENT "",
    `lo_tax` int  COMMENT "",
    `lo_commitdate` int  COMMENT "",
    `lo_shipmode` string  COMMENT ""
)
STORED AS orc;

CREATE TABLE IF NOT EXISTS `lineorder_parquet` (
    `lo_orderkey` int  COMMENT "",
    `lo_linenumber` int  COMMENT "",
    `lo_custkey` int  COMMENT "",
    `lo_partkey` int  COMMENT "",
    `lo_suppkey` int  COMMENT "",
    `lo_orderdate` int  COMMENT "",
    `lo_orderpriority` string  COMMENT "",
    `lo_shippriority` int  COMMENT "",
    `lo_quantity` int  COMMENT "",
    `lo_extendedprice` int  COMMENT "",
    `lo_ordtotalprice` int  COMMENT "",
    `lo_discount` int  COMMENT "",
    `lo_revenue` int  COMMENT "",
    `lo_supplycost` int  COMMENT "",
    `lo_tax` int  COMMENT "",
    `lo_commitdate` int  COMMENT "",
    `lo_shipmode` string  COMMENT ""
)
STORED AS parquet;

part表

CREATE TABLE IF NOT EXISTS `part_csv` (
    `p_partkey` int  COMMENT "",
    `p_name` string  COMMENT "",
    `p_mfgr` string  COMMENT "",
    `p_category` string  COMMENT "",
    `p_brand` string  COMMENT "",
    `p_color` string  COMMENT "",
    `p_type` string  COMMENT "",
    `p_size` int  COMMENT "",
    `p_container` string  COMMENT ""
)row format delimited fields terminated by ',' 
LINES TERMINATED BY '\n' 
STORED AS textfile;

CREATE TABLE IF NOT EXISTS `part_orc` (
    `p_partkey` int  COMMENT "",
    `p_name` string  COMMENT "",
    `p_mfgr` string  COMMENT "",
    `p_category` string  COMMENT "",
    `p_brand` string  COMMENT "",
    `p_color` string  COMMENT "",
    `p_type` string  COMMENT "",
    `p_size` int  COMMENT "",
    `p_container` string  COMMENT ""
)
STORED AS orc;
CREATE TABLE IF NOT EXISTS `part_parquet` (
    `p_partkey` int  COMMENT "",
    `p_name` string  COMMENT "",
    `p_mfgr` string  COMMENT "",
    `p_category` string  COMMENT "",
    `p_brand` string  COMMENT "",
    `p_color` string  COMMENT "",
    `p_type` string  COMMENT "",
    `p_size` int  COMMENT "",
    `p_container` string  COMMENT ""
)
STORED AS parquet;

supplier表

CREATE TABLE IF NOT EXISTS `supplier_csv` (
    `s_suppkey` int  COMMENT "",
    `s_name` string  COMMENT "",
    `s_address` string  COMMENT "",
    `s_city` string  COMMENT "",
    `s_nation` string  COMMENT "",
    `s_region` string  COMMENT "",
    `s_phone` string  COMMENT ""
)row format delimited fields terminated by ',' 
LINES TERMINATED BY '\n' 
STORED AS textfile;

CREATE TABLE IF NOT EXISTS `supplier_orc` (
    `s_suppkey` int  COMMENT "",
    `s_name` string  COMMENT "",
    `s_address` string  COMMENT "",
    `s_city` string  COMMENT "",
    `s_nation` string  COMMENT "",
    `s_region` string  COMMENT "",
    `s_phone` string  COMMENT ""
)STORED AS orc;

CREATE TABLE IF NOT EXISTS `supplier_parquet` (
    `s_suppkey` int  COMMENT "",
    `s_name` string  COMMENT "",
    `s_address` string  COMMENT "",
    `s_city` string  COMMENT "",
    `s_nation` string  COMMENT "",
    `s_region` string  COMMENT "",
    `s_phone` string  COMMENT ""
)STORED AS parquet;

数据生成

https://github.com/electrum/ssb-dbgen
make编译

(customer.tbl)
dbgen -s 1 -T c

(part.tbl)
dbgen -s 1 -T p

(supplier.tbl)
dbgen -s 1 -T s

(date.tbl)
dbgen -s 1 -T d

(fact table lineorder.tbl)
dbgen -s 1 -T l

(for all SSBM tables)
dbgen -s 1 -T a

To generate the refresh (insert/delete) data set:
(create delete.[1-4] and lineorder.tbl.u[1-4] with refreshing fact 0.05%)
dbgen -s 1 -r 5 -U 4

将生成数据插入到hive表中，然后生成的orc和parquet再导出来。

load data local inpath '/home/hadoop/dates' overwrite into table dates_csv;
insert overwrite table dates_orc  select * from dates_csv;
insert overwrite table dates_parquet  select * from dates_csv;
insert overwrite local directory '/home/hadoop/orc' select * from dates_orc;
insert overwrite local directory '/home/hadoop/parquet' select * from dates_parquet;

load data local inpath '/home/hadoop/data/supplier' overwrite into table supplier_csv;
insert overwrite table supplier_orc  select * from supplier_csv;
insert overwrite table supplier_parquet  select * from supplier_csv;
insert overwrite local directory '/home/hadoop/data/orc_supplier' select * from supplier_orc;
insert overwrite local directory '/home/hadoop/data/parquet_supplier' select * from supplier_parquet;

load data local inpath '/home/hadoop/customer' overwrite into table customer_csv;
insert overwrite table customer_orc  select * from customer_csv;
insert overwrite table customer_parquet  select * from customer_csv;
insert overwrite local directory '/home/hadoop/data/orc_customer' select * from customer_orc;
insert overwrite local directory '/home/hadoop/data/parquet_customer' select * from customer_parquet;


load data local inpath '/home/hadoop/part' overwrite into table part_csv;
insert overwrite table part_orc  select * from part_csv;
insert overwrite table part_parquet  select * from part_csv;
insert overwrite local directory '/home/hadoop/data/orc_part' select * from part_orc;
insert overwrite local directory '/home/hadoop/data/parquet_part' select * from part_parquet;

load data local inpath '/home/hadoop/data/lineorder' overwrite into table lineorder_csv;
insert overwrite table lineorder_orc  select * from lineorder_csv;
insert overwrite table lineorder_parquet  select * from lineorder_csv;
insert overwrite local directory '/home/hadoop/data/orc_lineorder' select * from lineorder_orc;
insert overwrite local directory '/home/hadoop/data/parquet_lineorder' select * from lineorder_parquet;

数据在oss，进行文件格式转换

c参考：https://blog.csdn.net/BabyFish13/article/details/78851067

weixin_42462308
关注
索引一定能提高性能吗？
Tony.Dong的专栏
09-22 1141
上一篇我们介绍了数据库事务的概念和重要性、事务的 ACID 属性，以及并发事务的控制与隔离级别。 今天我们讨论与性能相关的一个重要对象：索引（Index）。你一定听说过：索引可以提高查询的性能。那么，索引的原理是什么呢？有了索引就一定可以查询的更快吗？索引只是为了优化查询速度吗？接下来我们就一一进行解答。 索引的原理 以下是一个简单的查询，查找工号为 5 的员工： SELECT * FROM ...
【大数据Hive】hive 行列转换使用详解
congge_study的博客
01-20 7590
hive行列转换使用详解
修改hive表的STORED格式
最新发布
weixin_36845248的博客
08-12 61
我整理的一些关于【SQL】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/yOSbkR修改Hive表的STORED格式 Hive是基于Hadoop的数据仓库工具，用于数据的提取、转换和加载（ETL）操作。作为大数据生态的一部分，Hive能够很好地处理和查询存储在Hadoop分...
hive 修改表的存储格式_Hive优化之建表配置参数调优（一）
weixin_36406678的博客
01-06 1396
简介： Hive是大数据领域常用的组件之一，主要用于大数据离线数仓的运算，关于Hive的性能调优在日常工作和面试中是经常涉及的一个点，因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要因素有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等。本文主要从建表配置参数方面对Hive优化进行讲解。创建一个普通的表create table ...
sql语句
weixin_44510483的博客
11-11 1079
MySQL 一、引言 1.1 现有的数据存储方式有哪些？ Java中存储数据(变量、对象、数组、集合)，数据都是保存在内存中，属于瞬时状态数据 文件(File)存储数据，保存在硬盘上，属于持久化状态存储 1.2 以上存储方式存在哪些缺点？ 程序停止，数据就没了。 文件存储的数据：没有数据类型的区分 没有访问安全限制 没有备份、恢复机制。 二、 数据库 2.1 概念 数据库是 "按照数据结构来组织、存储、管理数据的仓库"。是一个可以长期存储在计算机内的、有组织的、有共享的、可以统一管理的数据集合 2.2
Hive表格式转换
qq_38783098的博客
11-06 3020
Hive 表有多种存储格式，TextFile、ORC、RCFile等等。 TextFile 的存储格式是未经压缩的纯文本格式，按指定分隔符对字段进行划分。当数据本身包含了分隔符，就会导致数据错位问题，所以使用TextFile存储数据有较大的安全隐患 如果表本身的存储格式已经是TextFile，想要转换成其他格式该如何操作？ 本教程适合于Hive分区表，如果Hive表不是分区表，直接修改存储格式会导致数据读取失败！ 一、查看表格式 通过建表语句，查看表本身的存储格式 命令如下： SHOW CREATE T
试图加载格式不正确的程序_好程序员大数据学习路线之hive存储格式
weixin_39644494的博客
11-29 107
好程序员大数据学习路线之hive存储格式，hive的存储格式通常是三种：textfile 、 sequencefile 、 rcfile 、 orc 、自定义 set hive.default.fileformat=TextFile; 默认存储格式为：textfile textFile:普通文本存储，不进行压缩。查询效率较低。1.sequencefile:hive提供的二进制序列文件存储，天生压...
hive金额怎么转换千位分隔符_HIVE 数据类型转换
weixin_35870390的博客
01-13 975
在《Hive内置数据类型》文章中，我们提到了Hive内置数据类型由基本数据类型和复杂数据类型组成。今天的话题是Hive数据类型之间的转换。同Java语言一样，Hive也包括隐式转换(implicit conversions)和显式转换(explicitly conversions)。Hive在需要的时候将会对numeric类型的数据进行隐式转换。比如我们对两个不同数据类型的数字进行比较，假如一个数...
Hive date/timestamp/date_sub/date_add/date_format/日期时间格式转换
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
07-16 3542
务必注意输入类型和返回类型！Hive函数-官方文档。
hive sql 日期格式转换
ck3207的博客
02-28 9191
遇到一个需求，需要计算hive库中，某资产近一个月的资产值。 比如：今天是2018年2月28日，近一个月若是按照自然月来算，那么是2018年2月1日至2018年2月28日。最终需要的日期格式为：yyyyMMdd。 当日时间戳 unix_timestamp() 方法可得到当前时间的时间戳。 上月今日 使用 add_months(日期，N) 函数可将日期往前、往后推N个月。主要有两种格式： ...
Hive的数据存储模式
10-08
Hive的数据存储模式Hive的数据存储模式Hive的数据存储模式Hive的数据存储模式
hive把字符串转换为时间_Hive数据类型转换
weixin_39540023的博客
12-19 3072
写在前面的话，学《Hive的那些事》序列文章，分享给大家。我会在接下来的时间整理有关Hive的资料，如果对Hive的东西感兴趣，请关注本博客。/archives/tag/hive的那些事在《Hive内置数据类型》文章中，我们提到了Hive内置数据类型由基本数据类型和复杂数据类型组成。今天的话题是Hive数据类型之间的转换。同Java语言一样，Hive也包括隐式转换(implicit convers...
hive 行转列和列转行的方法_Hive超详细存储
weixin_39678304的博客
11-29 425
文件存储格式Hive支持的存储数据的格式主要有：TEXTFILE 、SEQUENCEFILE、ORC、PARQUET。列式存储和行式存储左边为逻辑表，右边第一个为行式存储，第二个为列式存储行存储的特点查询满足条件的一整行数据的时候，列存储则需要去每个聚集的字段找到对应的每个列的值，行存储只需要找到其中一个值，其余的值都在相邻地方，所以此时行存储查询的速度更快。列存储的特点因为每个字段的数...
hive修改存储格式-orc格式回退为text
qiqi的专栏
01-07 6327
hive支持了几种常用的存储格式, 比如textfile, orc, rcfile, parquet等 各自的特性就不说了, 请参考官网或者其他博客. 因一些特殊原因, 创建表时将表格式设置为orc了, 但后续数据源从其他地方导入, 是文本类型(txt/tsv/csv等常见格式), 要回退表的存储类型为text, 怎么办? 三步: 修改文件存储类型(set fileformat) 修改列分隔符(set serdeproperties) 重建对应分区 代码: alter table tbl set fil
【踩坑实录】hive修改存储格式-orc格式修改为text
chimchim66的博客
09-05 3265
hive orc格式和text格式互转
hive表存储格式的转化
qq_43688472的博客
06-09 796
hive表存储格式的转化 hive四种存储格式介绍 一、四种存储格式介绍 1、TextFile TextFile文件不支持块压缩，默认格式，数据不做压缩，磁盘开销大，数据解析开销大。这边不做深入介绍。 2、RCFile Record Columnar的缩写。是Hadoop中第一个列文件格式。能够很好的压缩和快速的查询性能，但是不支持模式演进。通常 写操作比较慢，比非列形式的文件格式需要更多的内存空间和计算量。 RCFile是一种行列存储相结合的存储方式。首先，其将数据按行分块，保证同一个record在一个块
SparkSQL读取和写出数据的几种方式
.
11-29 2946
一、parquet格式的数据 parquet是一种列式存储格式的文件类型。存储时可以通过牛X的压缩算法节省存储空间，读取数据时只需要读取所需的列，提高读取性能。 二、JSON格式的数据 三、通过JDBC读取数据库中的数据 四、Hive中的数据 所需的pom依赖如下： <dependencies> <!-- spark核心包 --> <dependency&gt...
Hive文件存储格式
while false
09-08 460
Hive 支持的存储数的格式主要有:textfile   sequencefile     orc     parquet 1.列式存储和行式存储 右边第一个为行式存储,第二个为列式存储         行存储的特点: 查询满足条件的一整行数据的时候,列存储则需要去每个聚集的字段找到对应的每个列的值,行存储只需要找到其中一个值,其余的值都在相邻地方,所以此时         行存储查询的速度...
hive的日期格式转换？
06-18
Hive支持多种日期格式的处理，你可以使用内置的函数来进行格式转换。以下是Hive中一些常用的日期格式转换方法： 1. **FROM_UNIXTIME()**: 这个函数用于将Unix时间戳（自1970年1月1日以来的秒数）转换为日期或时间。例如： ```sql SELECT FROM_UNIXTIME(1609459200) AS converted_date; -- 转换2021-01-01 00:00:00 ``` 2. **TO_DATE()**: 将字符串转换为日期格式。例如： ```sql SELECT TO_DATE('2022-12-31', 'yyyy-MM-dd') AS date_string; ``` 第二参数指定输入字符串的格式。 3. **DATE_FORMAT()**: 格式化日期为特定的字符串格式。例如： ```sql SELECT DATE_FORMAT(CURRENT_DATE(), 'yyyy-MM-dd') AS current_date_in_custom_format; ``` 4. **CONVERT_TZ()**: 如果需要处理时区转换，这个函数很有用。 5. **TIMESTAMP_*()**: 对于更复杂的日期和时间操作，Hive还提供了诸如TIMESTAMP_MILLIS(), TIMESTAMP_MICROS(),等函数，处理毫秒级和微秒级的时间戳。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值