大数据运维之hive日常
人蠢多读书
这个作者很懒,什么都没留下…
展开
-
租户.hiverc的作用
The hiverc FileThe CLI when invoked without the-ioption will attempt to load $HIVE_HOME/bin/.hiverc and $HOME/.hiverc as initialization files.在不带-i选项的情况下调用CLI时,将尝试加载$HIVE_HOME/bin/.hiverc和$HOME/...原创 2019-12-09 11:33:28 · 219 阅读 · 0 评论 -
大数据组件开启审计日志
hdfs审计 log4j.properties 中配置(缺省就包含)hdfs.audit.logger=INFO,NullAppenderhdfs.audit.log.maxfilesize=256MBhdfs.audit.log.maxbackupindex=20log4j.logger.org.apache.hadoop.hdfs.server.namenode.FSNamesys...转载 2019-11-27 11:28:02 · 1289 阅读 · 0 评论 -
hive的metadata、metastore 、hiveserver2、beeline 之间的关系
1 先解释一下几个名词:(1)metadata :hive元数据,即hive定义的表名,字段名,类型,分区,用户这些数据。一般存储关系型书库mysql中,在测试阶段也可以用hive内置Derby数据库。(2)metastore :hivestore服务端。主要提供将DDL,DML等语句转换为MapReduce,提交到hdfs中。(3)hiveserver2:hive服务端。提供hive服...转载 2019-11-22 12:02:36 · 4919 阅读 · 3 评论 -
group by 使用规则
第一,凡是在group by后面出现的字段,必须同时在select后面出现;第二,凡是在select后面出现的、同时未在聚合函数中出现的字段,必须同时出现在group by后面. ...转载 2019-11-08 17:37:49 · 2673 阅读 · 1 评论 -
hive多个源表同时插入目标表会不会出现并发写报错?
1.业务上有需求需要并发读取多个来源表,然后插入到目标表,询问是否会有啥报错?2.第一感觉是可能会发生并发写报错,然后进行测试。3.准备数据1G(太少看不到过程),按行划分4.建立三张表test1.,test2,test3create table test1(id string);create table test2(id string);create table test3...原创 2019-10-23 17:40:44 · 5469 阅读 · 0 评论 -
获取hive所有数据库的所有表的建表方式
1.第一种保留所有表到各自文件#!/bin/bashhive -e "show databases ;" > databases.txti=1cat databases.txt |while read dbdohive -e "use $db;show tables;" > $i.txtsleep 3cat $i.txt |while read eachline...原创 2019-10-12 11:17:26 · 1380 阅读 · 1 评论 -
hdfs文件租约lease未释放引发的job失败
1.报错现象如下2.参考链接:https://www.cnblogs.com/cssdongl/p/6700512.html(给出问题分析,再去解决问题)https://blog.csdn.net/qq_29992111/article/details/80533563(直接解决问题)3.操作如下:(1)找出租约未释放的文件 hdfs fsck /logs/product...转载 2019-07-01 15:55:31 · 2159 阅读 · 0 评论 -
hive mr过程创建文件数太多导致job被kill
1.报错如下:[Fatal Error] total number of created files now is 100088, which exceeds 100000. Killing the job.MapReduce Total cumulative CPU time: 5 days 23 hours 48 minutes 22 seconds 380 msecEnded Jo...转载 2019-07-01 16:23:18 · 944 阅读 · 0 评论 -
hive查看表创建时间
执行命令descformatted <database>.<table_name>在hivecli.它将显示类似于的详细表信息desc formatted wkz;转载 2019-07-04 17:23:39 · 11587 阅读 · 0 评论 -
Hive为什么要启用Metastore?
转载来自:https://blog.csdn.net/qq_40990732/article/details/80914873https://blog.csdn.net/tp15868352616/article/details/80891057相关概念1.Metadata概念:元数据包含用Hive创建的database、table等的元信息。元数据存储在关系型数据库中。如De...转载 2018-09-06 17:10:45 · 38853 阅读 · 5 评论 -
hive命令行中显示列名字段的配置
转载来自:https://blog.csdn.net/qq_26442553/article/details/79452015公司集群CLI命令行测试,发现Hive命令行输出不显示列名,或者显示的列名带表名,可读性很差哇。解决办法:进入hive cli后 set hive.cli.print.header=true;但是显示列名以后,又出现表名+列名的显示方式,可读性也不好。...转载 2019-04-12 17:46:50 · 909 阅读 · 0 评论 -
hive修改使用utf8编码支持中文字符集
转载来自葛大力:1.hive建库语句:create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;2.hive启动后,修改hive的元数据信息,无需重启mysql和hive就能生效解决desc命令注释中文乱码:修改hive存储在mysql里的元数据相关信息 1).修改字段注释字符集alter table...转载 2019-04-12 10:05:22 · 22117 阅读 · 1 评论 -
hive 把一个表中的两列导入到另一张建好的表中
1. 建表wkzhive> create table wkz (id int, > name string, > age int, > tel string) > ROW FORMAT DELIMITED > FIELDS TERMINATED BY '\t' > ; 2. 本地当前路径数据文件w...原创 2018-12-29 11:54:59 · 4438 阅读 · 0 评论 -
hive启动小问题解决
转载来自:https://www.cnblogs.com/tijun/p/7598281.html(1)环境变量没有配置好出现如下报错:which: no hbase in (/opt/beh/core/zookeeper/bin:/opt/beh/core/hadoop/bin:/opt/beh/core/hadoop/sbin:/opt/beh/core/jdk1.8.0_151/...转载 2018-09-06 17:35:35 · 3133 阅读 · 0 评论 -
hive debug启动
hive --hiveconf hive.root.logger=DEBUG,console转载 2018-09-05 15:14:28 · 2514 阅读 · 0 评论 -
Hive Bug集锦
1.安装hive后无法启动,报错如下[ERROR] Terminal initialization failed; falling back to unsupported java.lang.IncompatibleClassChangeError: Found class jline.原因是hadoop目录下存在老版本jline:/hadoop-2.6.5/share/hadoop/yarn/l...原创 2017-10-16 10:26:09 · 2140 阅读 · 0 评论 -
hive.groupby.skewindata=true作用
转载来自:https://www.jianshu.com/p/9b62b9344ed5set hive.groupby.skewindata=true;//决定 group by 操作是否支持倾斜数据。注意:只能对单个字段聚合。控制生成两个MR Job,第一个MR Job Map的输出结果随机分配到reduce中减少某些key值条数过多某些key条数过小造成的数据倾斜问题。在第一...转载 2019-01-03 18:05:44 · 13597 阅读 · 2 评论 -
hiveserver2 指定队列
参考链接:https://www.cnblogs.com/yurunmiao/p/4724822.html结论综上所述,用户通过Beeline连接HiveServer2后的队列选取,默认情况下受公平调度策略的影响,如果想通过hive-site.xml或者mapred-site.xml中指定mapreduce.job.queuename,有一个非常简单的办法就是将属性值hive.server...转载 2019-03-19 17:00:37 · 1861 阅读 · 0 评论 -
hive 指定job name及其效果
1.指定job name的方式1 set mapred.job.name=jobname2 hive --hiveconf mapred.job.name=jobname2.效果如果脚本中有多个sql语句,那么你设定jobname后,所有的sql生成的job都会有同一个名字,亲测...原创 2019-03-06 17:03:18 · 7061 阅读 · 0 评论 -
查询mysql中没有主键的表
转载来自wc城,感谢1.查询语句select concat('alter table ',table_schema,'.',table_name,' add column pkid bigint not null auto_increment primary key;') from information_schema.tables where (table_schema,tabl...转载 2019-03-05 15:53:55 · 6143 阅读 · 0 评论 -
hive分区分桶操作及加载数据
转载来自:http://www.codeweblog.com/hive-%E5%9F%BA%E7%A1%80-1-%E5%88%86%E5%8C%BA-%E6%A1%B6-sort-merge-bucket-join/Hive 已是目前业界最为通用、廉价的构建大数据时代数据仓库的解决方案了,虽然也有 Impala 等后起之秀,但目前从功能、稳定性等方面来说,Hive 的地位尚不转载 2017-10-18 16:33:41 · 5126 阅读 · 1 评论