hive创建外部表语句，hdfs的文件类型为parquet

最新推荐文章于 2024-06-09 08:06:55 发布
最新推荐文章于 2024-06-09 08:06:55 发布
阅读量287 收藏
点赞数
分类专栏： hive 文章标签： hive hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43015677/article/details/131000453
版权

CREATE EXTERNAL TABLE database.table_name(
id string comment ‘id’
)
COMMENT ‘table_name’
PARTITIONED BY(
day string comment ‘日期’
) ROW FORMAT SERDE ‘org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe’ WITH SERDEPROPERTIES (
“field.delim”=“\u0001”,“serialization.format”=“\u0001”)
STORED AS INPUTFORMAT ‘org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat’ OUTPUTFORMAT ‘org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat’
LOCATION ‘hdfs路径’

创建成功后，需要手动更新分区信息 alter table add partition(day=‘2023-01-01’)

荣晓
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
excel动态创建hive表语句模板.xlsx
07-22
excel 根据字段创建 hive表
Hive实战-建表相关操作
进击的数据小白
05-08 1416
内部表&外部表 在Hive创建表的语法中有一个关键字是EXTERNAL，该关键字表示表的类型，在Hive中一共有两种类型的表：MANAGED_TABLE(内部表)和EXTERNAL_TABLE(外部表)。如果没有加EXTERNAL关键字，则创建表都是管理表，两种表有以下的区别： 在导入数据到外部表，数据并没有移动到自己的数据仓库目录下(如果指定了location的话)，也就是说外部表中的数据并不是由Hive自己来管理的，而内部表则不一样，是由数据仓库来管理的； 在删除表的时候，Hive将会把属于表
Hive Hive中的数据分桶 以及 使用场景
热门推荐
迎难而上
07-04 5万+
参考文章：hive分桶管理https://blog.csdn.net/freefish_yzx/article/details/77150714hive的分区和分桶https://blog.csdn.net/wl1411956542/article/details/52931499Hive中有数据分区的方案，也有数据分桶的方案，今天我们就来探讨下数据分桶 以及数据分桶使用的场景。该篇文章主要分为一...
Hive中常用SerDe介绍
行走的树
07-04 3225
SerDe 是Serializer 和 Deserializer 的简称。它是 Hive用来处理记录并且将它们映射到 Hive 表中的字段数据类型。
创建hive外部表
weixin_46609492的博客
06-23 1204
创建hive表映射文件类型
「Hudi系列」Apache Hudi入门指南 | SparkSQL+Hive+Presto集成
微信搜：import_bigdata，大数据领域硬核原创作者
02-28 2037
点击上方蓝色字体，选择“设为星标”回复"面试"获取更多惊喜Hi，我是王知无，一个大数据领域的原创作者。放心关注我，获取更多行业的一手消息。一、各种整合hive集成hudi方法：将hudi...
hive修改压缩方式
qq_38680817的博客
10-13 1019
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' WITH SERDEPROPERTIES ( 'field.delim'='\t', 'line.delim'='\n', 'serialization.format'='\t') STORED AS PARQUET TBLPROPERTIES('parquet.compression'='SNAPPY') ALTER TABLE dm_gis..
Hive内部表和外部表
01-07
一：内部表和外部表的区别 ...用于指定hdfs路径，如果不指定则使用默认的路径，默认路径规则为//.db/，location既可以用于内部表也可以用于外部表。 hive-site.xml hive.metastore.warehouse.dir /d
HBase与hive整合 和 hive与hdfs结合的效率对比1
08-08
2. rowkey设计上需要注意，尽量使rowkey均匀分布在预分配的N个Region上 3. 通过set hbase.client.scanner.cachi
python3.6.5基于kerberos认证的hive和hdfs连接调用方式
09-16
主要介绍了python3.6.5基于kerberos认证的hive和hdfs连接调用方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
DataX数据的迁移（MySQL、HDFS，Hive）
04-12
1.将Mysql中的数据迁移到Hdfs文件系统中，然后通过Hive加载HDFS文件系统中的数据值 2.将Hive中的数据迁移到指定Mysql数据库中 注意点： 1.数据迁移的过程中，由于hive的Null值存储为"\N"，Mysql存储为NULL值，二者...
hive 文件存储parquet格式, sparkSql解析部分字段为null
u012075079的专栏
09-27 5956
hive 版本2.1.0， hdfs 上同一份数据 （1） 用hive 建表， 部分字段hive 读取有值， sparksql读取值为null CREATE EXTERNAL TABLE business_log.rule_business_log2 (                            id bigint,                             bu
aws athena 建hive表命令不对，向表中插入数据时引发错误
finalcj的博客
03-10 2079
EMR集群，向hive表中插入数据时，引发错误：org.apache.spark.sql.AnalysisException: Can not create a Path from an empty string 网上搜索不到解决方案，最终偶然发现了问题所在，记录如下： 这是有问题的表，导出DDL是如下的： 实际我的建表命了，并没有指定任何参数，上面看到的参数是默认产生的： CREATE EXTERNAL TABLE `dwt_ob_video_all_user` ( .
hive与parquent
weixin_44736028的博客
05-21 773
hive Text存储与parquent比较准备数据功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 准备数据 orderID INT, CustID INT, OrderTotal FLOAT, OrderNumItems INT
Hive根据HBase数据库中的表建立外部表
LMR的博客
06-07 8856
HBase中已经存在表weblogs,有一个列族info，该列族中存在7个列。 create external table weblogs( id string, datetime string, userid string, searchname string, retorder string, cliorder string, ...
Hive基于Hbase的外部表使用
shengpli′s blog
09-04 771
官网:https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration 作用： Hive直接使用Hbase的数据,不过hbase一般不适合分析数据，一般使用外部表将hbase数据导入其它hive表，用于数据分析 步骤 一、下载依赖jar 从https://mvnrepository.com/artifact/org.apache....
hive常见表结构
q495673918的博客
08-09 2021
但是，如果数据量并不大（预测不会有超大文件，若干G以上）的情况下，使用ORC存储，snappy压缩的效率还是非常高的。Parquet 最初的设计动机是存储嵌套式数据,，比如Protocolbuffer，thrift，json等，将这类数据存储成列式格式，以方便对其高效压缩和编码，且使用更少的IO操作取出需要的数据。Rcfile在进行数据读取时会顺序处理HDFS块中的每个行组，读取行组的元数据头部和给定查询需要的列，将其加载到内存中并进行解压，直到处理下一个行组。优势：基于列存储，压缩快且效率更高，；....
Hive---外部分区表的创建
helloxiaozhe的博客
06-23 9987
Hive---外部分区表的创建（1）假设有个分区表，数据如下：hive> show create table partition_parquet; OK CREATE TABLE `partition_parquet`( `member_id` string, `name` string, `add_item` string) PARTITIONED BY ( `stat_d...
Hive 面试题（七）
最新发布
闲依农圃邻，偶似山林客。
06-09 989
1. 简述Hive 动态分区和静态分区的区别 + 使用场景 ？ 2. 简述Hive 语句执行顺序 ？ 3. 简述Hive中MR(map reduce)、Tez和Spark执行引擎对比 ？ 4. 简述为什么任务执行的时候只有一个reduce ？ 5. 简述Hive为什么要分桶 ？ 6. 简述如何使用分桶 ？ 7. 简述Hive如果不用参数调优，在map和reduce端应该做什么 ？
hive 创建 parquet Bloom Filter表语句
06-01
创建 Parquet Bloom Filter 表的语句如下： ``` CREATE TABLE IF NOT EXISTS table_name ( col1 data_type, col2 data_type, col3 data_type, ... ) PARTITIONED BY (partition_col data_type) STORED AS PARQUET TBLPROPERTIES ("parquet.bloom.filter.columns"="col1,col2"); ``` 其中，`table_name` 为表名，`data_type` 为列的数据类型，`partition_col` 为分区列的名称。 `PARTITIONED BY` 用于指定分区列，`STORED AS PARQUET` 表示使用 Parquet 格式存储数据。 `TBLPROPERTIES` 中的 `"parquet.bloom.filter.columns"` 参数用于指定需要创建 Bloom Filter 的列，多个列名之间使用逗号分隔。 例如，创建一个名为 `my_table` 的 Parquet Bloom Filter 表，其中有 `id` 和 `name` 两列，并按照 `dt` 分区，可以使用以下语句： ``` CREATE TABLE IF NOT EXISTS my_table ( id INT, name STRING ) PARTITIONED BY (dt STRING) STORED AS PARQUET TBLPROPERTIES ("parquet.bloom.filter.columns"="id,name"); ``` 执行完毕后，即可创建一个支持 Bloom Filter 的 Parquet 表。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值