hive create table as select ... 的坑 and trino presto 是否列下推验证

最新推荐文章于 2023-09-01 10:41:44 发布
最新推荐文章于 2023-09-01 10:41:44 发布
阅读量670 收藏
点赞数
分类专栏： 总结
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35515661/article/details/114689818
版权
总结 专栏收录该内容
750 篇文章 92 订阅 ¥99.90 ¥299.90
订阅专栏
本文探讨了Hive中使用`CREATE TABLE AS SELECT...`语句时遇到的列筛选问题，由于默认存储格式为textfile，可能导致无法实现列下推，从而影响性能。为解决此问题，建议手动指定存储格式和压缩格式。同时，通过Trino的执行解析，观察其是否进行列筛选，并展示了查询text和ORC格式数据的SQL分析结果。
摘要由CSDN通过智能技术生成

目录

总结

trino 执行解析来查看是否做了列筛选

trino打印 sql分析结果

查询text的sql分析结果

查询orc的sql分析结果

 

 

总结

hive中 hive create table as select ...  自己制作的表 默认是textfile存储格式 也就是默认不是列式存储

create table tbname as select ... 的hive生成的建表语句:

这一个大坑就是你如果列很多 数据很大 无法实现列下推 即 只获取某几列数据 减少磁盘访问

所以另一种方法就是手动指定存储格式和压缩格式:

TBLPROPERTIES 是 table properties 表属性的缩写

create table db1.tmp1 stored as orc TBLPROPERTIES
('orc.compress'='SNAPPY')
as
select * from db1.tb1

 

 

了解本专栏 订阅专栏 解锁全文
Thomas2143
关注
专栏目录
订阅专栏
Presto报错汇总
x²＋(y－√³x²)²＝1的博客
06-28 1842
一、the transaction did not commit cleanly,failed to execute some metastore delete operations That happens because party responsible for deleting table files from HDFS on DROP TABLE is Hive Metastore (not Presto itself). Currently Presto does not support imp
Hive中Create table... as 和 Create table ... like 的区别和使用注意
lzw2016的博客
07-30 2万+
CTAS建表语句（CREATE TABLE AS SELECT） 使用查询创建并填充表，select中选取的列名会作为新表的列名（所以通常是要取别名） 会改变表的属性、结构，比如只能是内部表、分区分桶也没了 目标表不允许使用分区分桶的，FAILED: SemanticException [Error 10068]: CREATE-TABLE-AS-SELECT does not supp...
Hive Create table as select
hjw199089的博客
12-21 2万+
Create/Drop/Truncate Table 排查问题触发了一个Create table as 的spark bug，no 爽 create table xxx as select create table table1 as select * from table2 where 2=3; 创建一个表结构与table2表相同的table1，只复制结构不复制数据 create table...
hive create table as select
qq_46160502的博客
06-11 1768
1 注意分区字段 create table test2 as select * from test test2分区字段变为普通字段 2 注意新建的表存储格式 create table xxx stored as parquet as select ...
Create Table As
unixboy
02-21 307
Create Table As  (CTAS)Note: Redo only created when in ARCHIVE LOG mode CREATE TABLE <table_name> ASSELECT <column_name, column_name, ..., <column_name>FROM <table_name>; CREATE T...
hive的craete table as
fuyun6363的博客
04-22 5230
Create Table As Select (CTAS) hive中还可以通过一个 create-table-as-select (CTAS) 语句中的查询结果来创建和填充表。 CTAS 创建的表是原子的，这意味着在填充所有查询结果之前，其他用户看不到该表。 因此，其他用户要么看到包含完整查询结果的表，要么根本看不到该表。 CTAS 中有两个部分，SELECT 部分可以是 HiveQL 支持的任何 SELECT 语句。 CTAS 的 CREATE 部分从 SELECT 部分获取结果模式，并使用其他表属性（
[HIVE]hive基础语法
数据打工人的博客
11-18 813
建表 parquet CREATE TABLE 表名 ( 字段1 STRING, 字段2 INTEGER, LOADDATE TIMESTAMP) comment 'XXX' partitioned by (dt string) stored as parquet tblproperties('parquet.compression'='SNAPPY'); ORC DROP TABLE IF EXISTS 表名; CR.
Apache Iceberg Research
yisuoyanyv的博客
06-01 1078
Apache iceberg 的感性认知，架构，业务，特性，优点
hive中创建表的三种方式：直接建表，抽取（as）建表，like建表
wyqwilliam的博客
09-08 2万+
Hive创建表的方式（默认路径/user/hive/warehouse，也可以location指定，主要针对external表）   1、使用create命令创建一个新表,带分区 CREATE TABLE `FDM_SOR.mytest_deptaddr`( `dept_no` int, `addr` string, `tel` stri...
Hive建表语句详解--CREATE TABLE
热门推荐
Thomson617的博客
01-09 14万+
Hive创建表的方式（默认路径/user/hive/warehouse，也可以location指定，主要针对external表）1、使用create命令创建一个新表,带分区可以使用describe formatted mytest_deptaddr 查看建表相关的各种配置属性以及默认属性。从下面可以看出，在创建表时有很多属性，比如存储地址，存储格式等属性我们都没有直接配置，而是选择了系统默认的。2、把一张表的某些字段抽取出来，创建成一张新表，使用as注意： 1.as只会复制属性以及属性值到新的表中。
Hive 创建表、导入数据和插入数据操作
louzhu_lz的博客
05-09 1万+
Hive create table/ load data/ insert 简单操作 1、Hive创建表----直接使用create语句 (IF NOT EXISTS判断是否已存在表，BY后面接分隔符) CREATE TABLE IF NOT EXISTS 表名(字段1 数据类型,字段2 数据类型) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘,’; 比如...
create table ...as备份表和create table xxx like xxx 复制表结构
Shyllin的博客
06-20 7616
create table ...as备份表和create table xxx like xxx 复制表结构
Hive之建表的三种方式
爱折腾的小土豆的博客
07-01 1481
执行的结果是table1 的表与table2的表结构是一致的，但是table1表中的数据为空；Hive建表方式统计了常见的三种建表，分别为直接命令行建表，like建表和as建表。将查询的table2表中id=1的结果插入到table1;或者使用as建表，但表结构会与原表不一致，具体往下看；#原理：直接查询表结果插入到一张新表，没有复制表结构；#原理：复制表结构，但不复制数据；
hive orc创建出错create as select
xubc的大数据笔记
01-18 3789
If you try to use create-table-as-select (CTAS) statement and create a ORC File format based table, then you can't use NULL as a column value in select clause CREATE TABLE empty (x int); CREATE TAB
【Hive】Hive中表创建方式及其对比
Together
08-15 1556
HIve表的创建方式 【1】craete table 首先就是最常见的方式，通 create table 方式进行建立hive表 例如???? create [external] table [IF NOT EXISTS] tableName ( column columnType comment 'annotation', column columnType comment 'annotation', column columnType comment 'annotation', ... ) partit
基于trino构建新的算子下推框架
最新发布
sleep1661的专栏
09-01 717
鉴于trino老的下推实现只能做一些简单表达式的下推，在真实业务的复杂SQL场景下，下推的效果很不理想。下推的效果对性能的影响非常大，特别是JDBC数据源。所以我们实现了新的算子下推框架去解决，每一个数据源connector可以更深入的参与优化。同时针对JDBC数据源，我们开发了一套通用优化规则，接入一个新数据源支持定制迭代相关的转换规则配置文件即可，而不需要开发代码。支持函数下推，包括标量函数、聚合函数和窗口函数。支持算术Operator、case when等复杂表达式的下推转换。
记一次hive建表报错
激进的蜗牛
11-22 2001
执行create table table_name xxx as select xxx的语句 语句如下 create table table1 STORED as ORC TBLPROPERTIES ('orc.compress'='SNAPPY') as select field1 as `名字1`, field2 as `名字2`, from table2 报错如下 Query I...
hive中的三种建表方法
wgyzzzz的博客
07-19 6411
文章目录一、直接建表二、查询建表三、like建表 一、直接建表 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] employee_external ( //EXTERNAL关键字添加为外部表 name string, work_place ARRAY<string>, sex_age STRUCT<sex:string,age:int>, skills_score MAP<string,int>,
hive用with as 查询的结果建表 就是 with ... as (...) create table a as select ...
07-15
抱歉，我之前给出的回答有误。在Hive中，不支持将WITH子句的结果直接用于CREATE TABLE AS SELECT语句。Hive中的WITH子句主要用于在查询中创建临时表达式，而不是用于直接创建表。 如果您想将WITH子句的结果插入到新建的表中，可以使用以下方法： 首先，运行WITH子句查询并将结果插入到临时表中。然后，使用CREATE TABLE AS SELECT语句从临时表中选择数据并插入到新建的表中。最后，如果不需要临时表，可以删除它。 示例代码如下： ```sql -- 创建临时表 CREATE TABLE temp_table AS WITH temp_result AS ( SELECT column1, column2 FROM source_table WHERE condition ) SELECT * FROM temp_result; -- 创建新表并插入数据 CREATE TABLE new_table AS SELECT * FROM temp_table; -- 删除临时表 DROP TABLE temp_table; ``` 在上面的示例中，首先使用WITH子句将查询结果插入到名为`temp_table`的临时表中。然后使用CREATE TABLE AS SELECT语句从`temp_table`中选择数据并插入到名为`new_table`的新表中。最后，可以使用DROP TABLE语句删除`temp_table`临时表。 请注意，以上示例仅供参考，您需要根据实际情况进行调整。确保在SELECT语句中选择正确的列和表，并在CREATE TABLE语句中指定适当的表名和列。 如果您有任何其他问题，请随时提问！我会尽力帮助您。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Thomas2143

您的打赏是我的动力!!!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值