![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
lics10
小帅只写干货,欢迎你关注我。
展开
-
用于将日志进行打包的脚本
. /etc/profile #该脚本用于将日志进行打包echo Begin.......echo backup Applog begin `date '+%Y-%m-%d %H-%M-%S'`CURRENT_DATE=`date '+%Y-%m-%d'`#打包文件路径 /data/BigData_App/script/spb/qd3702rt/log /data/BigData_App/script/logsBACKUP_LOG_FOLDER=/data/BigData_App/scrip原创 2020-07-22 15:54:24 · 429 阅读 · 0 评论 -
Error: java.io.IOException: java.lang.reflect.InvocationTargetException
今天我跑定时任务的时候,日志报错:Error: java.io.IOException: java.lang.reflect.InvocationTargetException;往下继续看log,发现是car3g_prpcitemkind(文件名)显示prpcitemkind分区数据不在了,这种通常发生在抽数的时候,抽数脚本最一开始有没有进行-rm一些hdfs临时文件;但是我的任务没有抽数,但是任务中其的确有用到表car3g_prpcitemkind,找了脚本的最上面也没有-rm。。。。然后根据日志打印原创 2020-07-14 15:36:26 · 2459 阅读 · 0 评论 -
Cannot read system catalog (sysindices).
场景:我将脚本计算后表A导出(从hive中导出到informix)到实例库的表中,改成并发执行(&)的时候,报错并锁表!报错:step5.log:20/07/01 04:51:05 WARN tool.EvalSqlTool: SQL exception executing statement: java.sql.SQLException: Cannot read system catalog (sysindices)报错:step5.log:Caused by: java.sql.SQLExc原创 2020-07-01 15:34:48 · 1091 阅读 · 0 评论 -
Hive UNION ALL 提示 Schema of both sides of union should match.
原因:union all两边表的列名不一致,与mysql语法不同。原创 2020-05-08 16:30:43 · 1619 阅读 · 1 评论 -
linux新机器做完raid相关盘后,hadoop的相关设置
刚才在192(Linux)机器上操作如下:0:先定hadoop服务1:使用root用户登录然后 将新增的几个盘的目录设置给hadoop用户 使用如下命令,使用root用户执行chown -R hadoop:hadoop /datachown -R hadoop:hadoop /data1chown -R hadoop:hadoop /data22:然后将191上面的hadoop基础文件...原创 2020-03-20 14:22:33 · 154 阅读 · 0 评论