- 博客(8)
- 收藏
- 关注
原创 【异常】hive连接异常
检查:1、Linux上1)Linux防火墙是否关闭了2)网络是否通,linux和windows是否网通,用 `ping ip`3)hiveServer2服务是否开启,10000端口。用`netstat -nlp | grep 进程`2、windows上1)防火墙2)网络是否通,linux和windows是否网通,用 `ping ip`3)访问的ip和端口是否写的正确如果是...
2019-12-24 19:32:20 646
原创 【异常】解决由于HDFS格式化造成Hive数据全部丢失的问题
参考1:https://www.cnblogs.com/kxgdby/p/7956570.html由于之前配置了hive,hdfs 被格式化了,导致现在hive上原来的元数据没有清理掉。由于hive 上所有元数据均保存在mysql中,所以,可以从mysql上删除表相关信息即可删除hive表,而且不会影响hdfs上数据。分析:hive在mysql上的相关元数据表关系图:解决方法:1、...
2019-12-24 19:31:23 1437
转载 JVM调优
先说一下JVM内存模式、GC分类、GC原理。JMV调优的准备工作1)、配置jstatd的远程RMI服务(当我们要看远程服务器上JAVA程序的GC情况的时候,需要执行此步骤),允许JVM工具查看JVM使用情况。将如下的代码存为文件 jstatd.all.policy,放到JAVA_HOME/bin中,其内容如下:不知道JAVA_HOME目录的,可以执行 which java查看。grant ...
2019-12-21 14:48:44 179
转载 JVM参数设置及分析
不管是YGC还是Full GC,GC过程中都会对导致程序运行中中断,正确的选择不同的GC策略,调整JVM、GC的参数,可以极大的减少由于GC工作,而导致的程序运行中断方面的问题,进而适当的提高Java程序的工作效率。但是调整GC是以个极为复杂的过程,由于各个程序具备不同的特点,如:web和GUI程序就有很大区别(Web可以适当的停顿,但GUI停顿是客户无法接受的),而且由于跑在各个机器上的配置不同...
2019-12-21 14:48:29 229
原创 【异常】Could not load xx.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly**
报错Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly**首先检查HiveConf类是否存在:[hadoop@hadoop01 app]$ cd apache-hive-1.1.0-cdh5.7.0-bin/lib/[hadoop@hadoop01 lib]...
2019-12-21 14:24:15 398
原创 【异常】Hive作业异常kill :Hadoop MapReduce Error - /bin/bash: /bin/java: is a directory异常
问题描述在使用Hive Client跑job时,一直提示job被kill,然后观察YARN的WebUI进行查看,如图:然后观察Hive Client的控制台输出,如下:Launching Job 1 out of 3Number of reduce tasks is set to 0 since there's no reduce operatorStarting Job = job_...
2019-12-21 14:23:44 397
原创 java.sql.SQLException: No suitable driver found for jdbc://mysql://hadoop001:3306/xxx
IDEA程序代码中需要访问mysql,出现java.sql.SQLException: No suitable driver found for jdbc://mysql://hadoop001:3306/ruoze_g6有可能是驱动没加进来,有可能是连接地址url写错了。需要在pom中加上mysql驱动:<dependency> <groupId>mysq...
2019-12-20 12:43:23 284
原创 访问HDFS权限异常:Permission denied: user=СÎ÷ѧÎè, access=WRITE, inode="/":hadoop:supergroup:drwx
IDEA中的scala项目访问HDFS,程序运行,可能出现的异常:权限问题:Permission denied: user=СÎ÷ѧÎè, access=WRITE, inode="/":hadoop:supergroup:drwxr-xr-x修改运行时参数,因为HDFS上的文件所属的用户是hadoop,所以这里的用户也改成hadoop:-DHADOOP_USER_NAME=hadoop:...
2019-12-20 12:42:50 4858
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人