hive orc创建出错create as select

最新推荐文章于 2024-08-21 11:17:08 发布
最新推荐文章于 2024-08-21 11:17:08 发布
阅读量3.7k 收藏 2
点赞数
分类专栏： hive 文章标签： hive ORC create
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011098327/article/details/54601890
版权
If you try to use create-table-as-select (CTAS) statement and create a ORC File format based table, then you can't use NULL as a column value in select clause 
CREATE TABLE empty (x int);
CREATE TABLE orc_table_with_null 
STORED AS ORC 
AS 
SELECT 
x,
null
FROM empty;
在create table stored as ORC格式时，在create as select语句中select 的字段不能显示的给null值 
Error:
347084 [main] ERROR hive.ql.exec.DDLTask - org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.IllegalArgumentException: Unknown primitive type VOID
at org.apache.hadoop.hive.ql.metadata.Hive.createTable(Hive.java:643)
at org.apache.hadoop.hive.ql.exec.DDLTask.createTable(DDLTask.java:4242)
at org.apache.hadoop.hive.ql.exec.DDLTask.execute(DDLTask.java:285)
参考： https://issues.apache.org/jira/browse/HIVE-11217
xubc
关注
专栏目录
hive create table as select ... 的坑 and trino presto 是否列下推验证
yy的博客
03-12 670
目录 总结 trino 执行解析来查看是否做了列筛选 trino打印 sql分析结果 查询text的sql分析结果 查询orc的sql分析结果 总结 hive中hive create table as select ... 自己制作的表 默认是textfile存储格式 也就是默认不是列式存储 create table tbname as select ... 的hive生成的建表语句: 这一个大坑就是你如果列很多 数据很大 无法实现列下推 即 只获取某几列数据 减少磁盘...
hive orc存储格式不同压缩格式的比较
程老师的博客
06-10 1739
1.建表语句 无压缩格式 NONE CREATE EXTERNAL TABLE `test.test_orc_not_compress`( `apptypeid` string, `uid` string, `srcqid` string, `os` string, `ver` string, `vers` string, `isnewuser` int, `pv` bigint) PARTITIONED BY ( `dt` string) stored
Hive基本命令整理
java 学习
05-26 587
创建表： hive> CREATE TABLE pokes (foo INT, bar STRING); Creates a table called pokes with two columns, the first being an integer and the other a string 创建一个新表，结构与其他一样 hive> create table new_...
Hive Create table as select
热门推荐
hjw199089的博客
12-21 2万+
Create/Drop/Truncate Table 排查问题触发了一个Create table as 的spark bug，no 爽 create table xxx as select create table table1 as select * from table2 where 2=3; 创建一个表结构与table2表相同的table1，只复制结构不复制数据 create table...
hive建表create table xxx as select数据增多
最新发布
qq_45626867的博客
08-21 121
hive数据备份数据增多
hive建表create table xxx as select的问题
chanyue123的博客
09-18 5814
create table xxx as select的方式创建的表默认存储格式是text，所以要注意了假如as select的是其他格式的比如parquet，则可能会导致一行变多行的情况（因为parquet格式的可能字段包含换行符等），所以必须要加上 create table xxx stored as parquet as select... 所以使用这种方式建表注意加上指定的存储格式。 ...
记一次hive建表报错
激进的蜗牛
11-22 2001
执行create table table_name xxx as select xxx的语句 语句如下 create table table1 STORED as ORC TBLPROPERTIES ('orc.compress'='SNAPPY') as select field1 as `名字1`, field2 as `名字2`, from table2 报错如下 Query I...
Hive 创建不同压缩方式的ORC存储格式表
weixin_41717034的博客
06-29 2906
目录 创建一个非压缩的的ORC存储方式表 创建一个snappy压缩的ORC存储方式表 创建一个ZLIB压缩的ORC存储方式表（默认方式） 存储方式和压缩总结 使用压缩的优势是可以最小化所需要的磁盘存储空间，以及减少磁盘和网络io操作 ​​​​​​​ORC支持三种压缩：ZLIB,SNAPPY,NONE。最后一种就是不压缩，orc默认采用的是ZLIB压缩。 创建一个非压缩的的ORC存储方式表 create table log_orc_none ( track_time string, url
hive 分区表
qq_35315363的博客
07-09 427
hive创建表方式 方式一：create table 指定字段信息 方式二：CTAS 通过子查询创建表，将查询的数据存入另一张表。 createtableas Select 方式三：create like 创建类似表 create table new_table like old_table/view --数据数据库 create database db_lianj...
Spark3.0 Sql 使用HiveTableScanExec 读取Hive orc表源码分析及参数调优
u014034497的专栏
10-29 3011
默认情况下因此，默认情况下，切片大小=blocksize。因为一般文件的block大小为128M, 是小于mapreduce.input.fileinputformat.split.maxsize默认值的根据orc文件的stripe，结合参数配置，最终生成split结论：因此使用能够控制生成split个数，进而控制读取的map task数量以下为设置为"67108864"时，spark sql 读取orc文件的示意图。
hive常用命令和外部写建表语句执行报错的解决方法
yyf960126的博客
09-03 2116
如果建表语句中有类型关键字，在建表是会报NoViableAltException错误,需要在关键字上加``(这个是ESC底下那个键) 本人常用的hive命令： 1.不用启动hive就能运行建表语句 hive -f xx.sql; 注意：建表语句如果是外部编译器编写的话要更改编码格式为 要不会爆这个错误 2.添加列 alter table dev_odb.cac_a...
使用Hive SQL插入动态分区的Orc表OOM异常分析
小陌成长之路
06-18 1325
执行语句‘insert into table xxx partition(dt) select …’ 向ORC格式的表中插入数据时报错
HIVE使用CTAS出现void类型字段报错
Tony_老七
11-18 4474
最近使用hive CTAS语法时候遇到一个语义级的异常， Hive版本0.13 操作如下： create table temp.ldc_test_b as select case when length(regexp_extract(event_obj_name,'^([A-Za-z_]+)([0-9]+)$',1))=0 then event_obj_name else regexp
hive 在执行create table student1 as select * from student;就一直在这个阶段没有启用mr 为什么？
拉格朗日的学习笔记
06-13 932
oracle ctas用法,ORACLE CTAS(create table as select)施用注意点
weixin_30294759的博客
04-04 868
ORACLE CTAS(create table as select)使用注意点ORACLE CTAS(create table as select)使用注意点看到这篇文章Beware of default values when using CTAS，关于create table as select(CTAS)值得注意的地方：使用这条sql创建的表不会带默认值。操作以下实验证明之:scott@T...
hive使用split等函数程序很慢的情况分析
涤生大数据
03-11 1299
一段很简单的代码，使用比如create table mobdi_test.aaa as select split(path,'\/') from mobdi_test.path_text_nocomp;程序进度季度慢，2.9亿的数据跑了5个小时 尝试了各种方法，参数优化，udf重构等。后来才找到了原因。是hive矢量化的问题，集群开启了矢量化，本来是为了一片好心提高计算效率的。但但是很多函数是不支持的矢量化的，造成数据量很大的时候季度慢。 hive官方关于矢量化的介绍与对函数的支持情况 很明显s.
数仓|Hive性能调优指北
jmx_bigdata的博客
06-07 1024
在企业中使用Hive构建离线数仓是一种十分普遍的方案。尽管Hive的使用场景是通过批处理的方式处理大数据，通常对处理时间不敏感。但是在资源有限的情况下，我们需要关注Hive的性能调优，从而方便数据的快速产出。同时，关于Hive的性能调优，也是面试中比较常见的问题，因此掌握Hive性能调优的一些方法，不仅能够在工作中提升效率而且还可以在面试中脱颖而出。本文会通过四个方面介绍Hive性能调优，主要包括： √性能调优的工具 √设计优化 √数据存储优化 √作业优化 性能调优的工具 HQL提供了两个查看查询性能.
Hive 分区表 Select 优化
BITDDD小栈
07-09 1272
Hive 分区表 Select 优化 对hive分区表执行select操作时，经常执行很慢，原因竟是因为一个点！ 优化适配情况： 分区表执行select操作where选择某一分区或多个分区查询 操作： where条件内分区选择时 在分区字段上加单引号' ' 原始写法： hive -e "select * from table where dt=20200709" 修改后写法: hive -e "select * from table where dt='20200709'"..
hive创建分区表 指定分隔符_使用“as select”创建配置单元表或“喜欢”并指定分隔符...
weixin_39903375的博客
12-21 1628
Is it possible to do acreate table as select usingrow format delimited fields terminated by '|';or to do acreate table like row format delimited fields terminated by '|';The Language Manual seems t...
hive orc 新增字段操作
06-10
如果你想向 Hive 的 ORC 表中添加新的字段，可以按照以下步骤进行操作： 1. 将原始表导出为一个新表。可以使用以下命令： ``` CREATE TABLE new_table STORED AS ORC AS SELECT * FROM old_table; ``` 2. 修改新表的结构，添加新的字段。可以使用以下命令： ``` ALTER TABLE new_table ADD COLUMN new_column_name data_type; ``` 其中，`new_column_name` 为新字段的名称，`data_type` 为新字段的数据类型。 3. 将数据从旧表导入到新表。可以使用以下命令： ``` INSERT INTO new_table SELECT *, default_value AS new_column_name FROM old_table; ``` 其中，`default_value` 为新字段的默认值，可以根据实际需要进行设置。 4. 最后，你可以删除旧表，将新表重命名为旧表的名称。可以使用以下命令： ``` DROP TABLE old_table; ALTER TABLE new_table RENAME TO old_table; ``` 这样，你就成功地向 Hive 的 ORC 表中添加了新的字段。需要注意的是，如果你的表中已经存在数据，添加新字段时需要考虑该字段的默认值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值