![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
AdamShyly
努力学习
展开
-
Hive 建表注释中文乱码
通过修改Hive元数据表的编码格式为utf-8即可解决。转载 2022-09-23 11:56:00 · 169 阅读 · 0 评论 -
Hive 物化视图
物化视图作为Hive3.x的新特性,可以将查询的结果保存到一张表上,供客户端之后如果查询同样的数据时,就可以直接返回结果,而不用再执行MR程序,效率极高。但在使用物化视图时需要注意几点:外部表不能用来创建物化视图、必须是事务表才能用来创建物化视图drop table if exists student_trans;create table student_trans ( sno int, sname string, sdept string) clustered by原创 2022-04-28 03:23:08 · 1853 阅读 · 0 评论 -
Hive drop 事务表 报错 flushing changes to datastore
[2022-04-28 02:13:01] [08S01][1] Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Exception thrown flushing changes to datastore)如果一个事务表中的数据是来源于其他表(insert into),然.原创 2022-04-28 02:58:59 · 3104 阅读 · 0 评论 -
Hive drop 失败 日志显示无限执行transport.TSaslTransport: writing data length: 144 和 reading data length: 104
今天在学习Hive事务表的时候,在执行一个update操作的时候,可能是由于内存不足而导致HS2崩溃,然后重新执行update操作后发现,本来是一个半分钟以内就能够执行完的MR程序,结果运行了六七分钟还没执行完毕。然后查看日志发现以下现象可以发现HS2的Handler一直在进行奇怪的重复读写操作,而且发现Yarn上也没有正在运行的MR作业,但是发现日志还在不断地输出,甚至发现在进行drop这张事务表的操作也出现了同样的情况。最后是重新建了一张事务表,重新update或者是drop才发现成功了。估原创 2022-04-27 04:35:42 · 1634 阅读 · 1 评论 -
Hive 后台启动metastore和HS2的shell脚本
由于我现在使用的是普通用户,如果要用nohup指令后台启动metastore服务,则需要su root切换到root用户,所以我写了一个能够免密执行后台启动metastore的shell脚本,就可以不用每次都进行su root#!/bin/bashPASS_ROOT="你的root密码"RES=$(echo $PASS_ROOT | su root -c jps | grep RunJar | tr -cd [0-9])echo ''if [ -z $RES ]then原创 2022-04-25 12:00:07 · 1307 阅读 · 0 评论