![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
安然烟火
如果人没有理想,那和咸鱼有什么区别呢?
展开
-
hive解析json数据方法get_json_object、json_tuple、正则化方法
get_json_object数据样例:{"id": 1701439105,"ids": [2154137571,3889177061,1496915057,……,1663973284],"total_number": 493}建表导入数据CREATE TABLE IF NOT EXISTS tmp_json_test ( json string) STORED AS textfile ;load data local inpath '/opt/datas/weibo原创 2021-05-24 18:19:25 · 935 阅读 · 0 评论 -
hive对分区表全量count(1)出现错误ArrayIndexOutOfBoundsException
hive查询orc格式分区表全量count(1)出现如下报错:原因及解决方法如下:这个表中途修改过字段信息,造成旧分区的信息和新分区的信息不一致。CDH5 中 hive1.1 版本,当修改表格的元数据信息后,使用ORC格式的文件与Hive的矢量化特性不兼容 ,需要先设置矢量化为falseset hive.vectorized.execution.enabled=false;set hive.vectorized.execution.reduce.enabled=false;...原创 2020-12-17 10:33:48 · 1010 阅读 · 0 评论 -
hive实现整合hbase
1.hbase与hive哪些版本兼容?hive0.90与hbase0.92是兼容的,早期的hive版本与hbase0.89/0.90兼容,不需要自己编译。hive1.x与hbase0.98.x或则更低版本是兼容的,不需要自己编译。hive2.x与hbase1.x及比hbase1.x更高版本兼容,不需要自己编译。重点注意:hive 1.x 与 hbase 1.x整合时,需要自己编译2.连接和使用Hive:1.第一种方式:/usr/bin/hive 为连接打开Hive操作界面的快捷方式因此只需要原创 2020-10-22 20:08:41 · 393 阅读 · 0 评论 -
hive添加字段后的查询异常ArrayIndexOutOfBoundsException
hive添加字段alter table ods_wsp_dw_fact_point add columns (ods_datecreated STRING COMMENT ‘ods数据创建时间’);客户端查询报错hue端查询报错Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask解决方案:执行sql前,原创 2020-06-15 17:54:30 · 2614 阅读 · 0 评论 -
Hive数据格式选择ORC及使用sqoop数据导入
数据存储格式和压缩方式选择Hive数据存储和压缩参考如下测试参数:1.在压缩存储时间上,除Sequencefile外基本都相差无几。2.数据压缩比例上ORC最优,parquet压缩性能也较好。3.SQL查询速度而言,ORC与parquet性能较好,远超其余存储格式。综合上述各种性能指标,我们采用ORC+SNAPPY压缩格式,这也是目前主流的做法。参考链接https://blog.csdn.net/breakout_alex/article/details/103007514https:/原创 2020-05-15 17:23:42 · 3700 阅读 · 0 评论