![](https://img-blog.csdnimg.cn/20190904165301347.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据—Hive
章锡平
道生一,一生二,二生万物。
展开
-
hive 2.1.1 hive命令提交任务 Error caching map.xml:... ConcurrentModificationException
背景今天在使用hive 命令执行一个sql,这个sql使用了自己开发的UDF函数,提交运行遇到一个很棘手的问题,hive版本2.1.1,先看下错误日志:Serialization trace:classes (sun.misc.Launcher$AppClassLoader)classloader (java.security.ProtectionDomain)context (java.security.AccessControlContext)acc (org.apache.hadoop.h原创 2020-05-26 21:26:32 · 3141 阅读 · 0 评论 -
cdh hive2.1版本中文注释乱码
一、问题描述环境 cdh6.3.1 + hive 2.1.0。 hive 元数据库用的是mysql创建hive表后,用show create table 查看表信息,中文注释出现乱码,如下1 CREATE TABLE `stage_mysql.userdevice_default_group_day`(2 `id` int COMMENT '??', 3 `user_id` string COMMENT '????', 4 `sub_serial` string COMMENT '?原创 2020-05-20 16:01:39 · 262 阅读 · 0 评论 -
cdh 中 hive impala on sentry权限使用
背景现在我们公司有一些数据分析的场景,主要实现方式通过impala实现在线分析,现在接入我们cdh大数据平台的日志有很多,数据接入流程很简单,业务方所有的数据都发送至kafkak总线,flume二次开发,支持写入parquet格式数据,通过flume写入hdfs,db库数据通过dataX写入hdfs,格式为orc格式,这两种格式在压缩,和在线分析都有不错的性能提升。在线分析场景,由于各个业务方只...原创 2020-05-06 09:43:26 · 1316 阅读 · 0 评论 -
mongodb client安装,导出数据
1.安装 https://repo.mongodb.org/yum/redhat/6/mongodb-org/3.4/x86_64 下载 rpm -ivh mongodb-org-shell-3.4.9-1.el6.x86_64.rpm rpm -ivh mongodb-org-tools-3.4.9-1.el6.x86_64.rpm2. 连接命令...原创 2020-04-24 14:16:18 · 231 阅读 · 1 评论 -
批量导出hive表结构 生成建表语句
说明最近在做集群数据迁移,需要把hive所有的表同步至新的集群。脚本#! /bin/bashmkdir -p /opt/hive/tables/tablesDDLhive -e "show databases;" > /opt/hive/databases.txtecho "cat database"cat /opt/hive/databases.txtcat /opt/h...原创 2020-03-28 11:33:49 · 2233 阅读 · 0 评论 -
hive.server2.enable.doAs
hive.server2.enable.doAs设置成false则,yarn作业获取到的hiveserver2用户都为hive用户。设置成true则为实际的用户名原创 2020-01-13 19:12:59 · 2730 阅读 · 0 评论 -
hive 批量执行sql脚本文件 跳过异常语句
应用场景hive执行sql的方式很多,在需要批量执行sql的场景下就需要使用到hive 命令 或beeline命令。使用方式hive -f a.sql这个命令会执行a.sql里面的sql命令,每个命令以分号结束,但这种方式有个缺陷,就是中间有一个sql执行出现异常,就会结束脚本的执行。在有些场景下,我们不希望出现这种情况,例如批量插分区,中间某个表删掉了,插入分区失败,导致后面的所有表都...原创 2019-11-14 15:44:53 · 3872 阅读 · 0 评论