【异常】hive连接异常 检查：1、Linux上1）Linux防火墙是否关闭了2）网络是否通，linux和windows是否网通，用 `ping ip`3）hiveServer2服务是否开启，10000端口。用`netstat -nlp | grep 进程`2、windows上1）防火墙2）网络是否通，linux和windows是否网通，用 `ping ip`3）访问的ip和端口是否写的正确如果是...
java.sql.SQLException: No suitable driver found for jdbc://mysql://hadoop001:3306/xxx IDEA程序代码中需要访问mysql，出现java.sql.SQLException: No suitable driver found for jdbc://mysql://hadoop001:3306/ruoze_g6有可能是驱动没加进来，有可能是连接地址url写错了。需要在pom中加上mysql驱动：<dependency> <groupId>mysq...
访问HDFS权限异常：Permission denied: user=СÎ÷ѧÎè, access=WRITE, inode="/":hadoop:supergroup:drwx IDEA中的scala项目访问HDFS，程序运行，可能出现的异常：权限问题：Permission denied: user=СÎ÷ѧÎè, access=WRITE, inode="/":hadoop:supergroup:drwxr-xr-x修改运行时参数，因为HDFS上的文件所属的用户是hadoop，所以这里的用户也改成hadoop：-DHADOOP_USER_NAME=hadoop：...
【异常】Could not load xx.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly** 报错Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly**首先检查HiveConf类是否存在：[hadoop@hadoop01 app]$ cd apache-hive-1.1.0-cdh5.7.0-bin/lib/[hadoop@hadoop01 lib]...
JVM调优 先说一下JVM内存模式、GC分类、GC原理。JMV调优的准备工作1)、配置jstatd的远程RMI服务（当我们要看远程服务器上JAVA程序的GC情况的时候，需要执行此步骤），允许JVM工具查看JVM使用情况。将如下的代码存为文件 jstatd.all.policy，放到JAVA_HOME/bin中，其内容如下：不知道JAVA_HOME目录的，可以执行 which java查看。grant ...
【异常】Hive作业异常kill ：Hadoop MapReduce Error - /bin/bash: /bin/java: is a directory异常 问题描述在使用Hive Client跑job时，一直提示job被kill，然后观察YARN的WebUI进行查看，如图：然后观察Hive Client的控制台输出，如下：Launching Job 1 out of 3Number of reduce tasks is set to 0 since there's no reduce operatorStarting Job = job_...
【异常】解决由于HDFS格式化造成Hive数据全部丢失的问题 参考1：https://www.cnblogs.com/kxgdby/p/7956570.html由于之前配置了hive，hdfs 被格式化了，导致现在hive上原来的元数据没有清理掉。由于hive 上所有元数据均保存在mysql中，所以，可以从mysql上删除表相关信息即可删除hive表，而且不会影响hdfs上数据。分析：hive在mysql上的相关元数据表关系图：解决方法：1、...
JVM参数设置及分析 不管是YGC还是Full GC,GC过程中都会对导致程序运行中中断,正确的选择不同的GC策略,调整JVM、GC的参数，可以极大的减少由于GC工作，而导致的程序运行中断方面的问题，进而适当的提高Java程序的工作效率。但是调整GC是以个极为复杂的过程，由于各个程序具备不同的特点，如：web和GUI程序就有很大区别（Web可以适当的停顿，但GUI停顿是客户无法接受的），而且由于跑在各个机器上的配置不同...
关注
