fairynini的博客

最近遇到的问题是hive sql跑起来后似乎卡住，没有一点反映。insert overwrite table tmp SELECT 字段，udf(字段)FROM(select * from tableA where DEL_FLAG = 0 ) aleft JOIN tableB t ON a.key= t.key测试select语句是完全没有问题的，那么可以锁定是表的问题create table xxxSELECT 字段，udf(字段)FROM(select * f

报错如下：hive表无法被truncate查看hdfs上路径权限看到owner是root 且权限非777故，解决方法，改owner为yarn或改权限777即可。

一般我们部署成功Atlas之后，就像马上查看血缘关系，大量时间打标签等行为也不是一夜之间搞定的。那么如果尚未打标签整理，如何使用Atlas，快速搜索到想要看的表血缘和列血缘呢？如上图，可以选择hive表，输入表名，查询表血缘。同理，列和自己打标签的内容都能搜索。1.4 打标签1.4.1 CLASSIFICATION分类说明：按自己项目的需求划分不同得维度1.4.2 GLOSSARY词汇表说明：一个数据仓库项目有很多域，域下面还有很多层次，可以按自己项目需求规划。1.5 字段搜索1.

问题：一直在跑的任务突然怎么都跑不成功了。查看日志，没有具体报错原因，主要看到Reason ：Container marked as failed.exit status:143由此怀疑是容器资源不够无法起起来。遂更改yarn相关配置。主要是修改最小容器内存和内容增量加大。然并卵。无论怎么调还是不够内存。因此开始认真找报错原因。查询container日志方法：yarn上找到application的日志之前 可以看到在哪个node节点上执行的然后去相应的node节点机器上，进入路径：c

问题:sqoop allowinsert模式只插入没有增加原因：当sqoop，update的时候是需要知道update谁的，如果你的表主键会变或者没有主键 都将使update失败。例如：原表：idcodenoname303swngennwe1nig3wonf101011zz张三数据更改后（hive中）idcodenoname300swngennwe1nig30000101011zz张三test303swngennwe1nig3

转载：https://blog.csdn.net/victorzzzz/article/details/100906080返回码意义：HiveServer Kill job的情况1.Hive 发生主备切换时，新主主动kill掉原来的job；2.在一个MR job中所有mappers及reducers创建HDFS文件数目超过文件最大数目时（该最大数目有HiveConf里的hive.exec.max.created.files控制，目前默认值为100,000）；3.当job提交失败时，HiveSer

ALTER TABLE dws_construction_s_yzw_bid_stat add COLUMNS (follower STRING COMMENT ‘跟进人’ ) ;ALTER TABLE dws_construction_s_yzw_bid_stat CHANGE follower follower STRING COMMENT ‘跟进人’ AFTER claim_date;

统计大数据数仓hive下数据量：hadoop fs -du -s -h /user/hive/warehouse/附：hdfs查询命令：hadoop fs -du -s -h 此路径hadoop fs -du -h 路径下子目录如下如：统计mysql数据库下数据量：USE information_schema;# /1024/1024/1024 将数据单位处理成GSELECT TABLE_SCHEMA, SUM(DATA_LENGTH)/1024/1024/1024 FR

1 准备工作： 本文档以最新版本为例（2.0）下载安装： jdk-8u211-linux-x64.tar.gz 地址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html（千万记住不要使用Linux 自带的jdk,安装过程中有大坑）下载安装：Apache Maven 3.6.0 地址：http://maven.apache.org/download.cgi（2.0版本最低要求，低于

起因：集群上跑的任务中的hive任务全部失败。查看yarn日志发现10.10.6.100机器的hiveserver2连接不上。实际上我的hiveserver2就开在105机器上，是不应该去100的。。。。单独上每台机器上，除了100机器其他都没有问题，100机器启动hive没有问题，但是show databases; 或其他命令都会报很长串的错，主要看到了：DataNucleus requires this table to perform its persistence operations.

问题：Caused by: org.apache.hadoop.hive.ql.security.authorization.plugin.HiveAccessControlException: Permission denied: Principal [name=hive, type=USER] does not have following privileges for operation QUERY [[SELECT] on Object [type=TABLE_OR_VIEW, name=sy_d

问题：jdbc连接hive，已经查出数据，但是会出现 SASL authentication not complete问题。原因是先关闭了connect，再关闭查询，顺序反了，应该最后关闭connection。错误：正确：就没有上述问题了。

hiveserver2是Hive启动了一个server，客户端可以使用JDBC协议，通过IP+ Port的方式对其进行访问，达到并发访问的目的。1.启动hiveserver2服务启动Hive有两条命令：$HIVE_HOME/bin/./hive --service hiveserver2 或者$HIVE_HOME/bin/./hiveserver2,hiveserver2的服务端口默认是10000，WebUI端口默认是10002，在终端使用命令netstat -anop|grep 10000 和 n

dh的hive配置中，修改 添加 hive-site.xml 配置 CDH版本的hive-site.xml是通过CM配置生成的文件，每次启动，都会根据CM选项还原配置，因此，我们必须用CM界面，找到Hive的配置选项，修改Hive的配置项。之前我一直没找到配置中怎么增加参数，直到看到大佬的博客：https://blog.csdn.net/gdkyxy2013/article/details/105722837按照大佬博客操作即可更改到配置。hive的权限问题：增加用户，对用户赋权，但表多，用户多

SELECT 'CREATE TABLE IF NOT EXISTS','你的hive表名字','(','',''UNION ALLSELECT CONCAT('`',column_name,'`') colname, CASE WHEN NUMERIC_PRECISION IS NOT NULL AND (data_type='decimal' OR data_type='nu...