胡奋斗-CSDN博客

原创【异常】hive连接异常

检查：1、Linux上1）Linux防火墙是否关闭了2）网络是否通，linux和windows是否网通，用 `ping ip`3）hiveServer2服务是否开启，10000端口。用`netstat -nlp | grep 进程`2、windows上1）防火墙2）网络是否通，linux和windows是否网通，用 `ping ip`3）访问的ip和端口是否写的正确如果是...

2019-12-24 19:32:20 613

原创【异常】解决由于HDFS格式化造成Hive数据全部丢失的问题

参考1：https://www.cnblogs.com/kxgdby/p/7956570.html由于之前配置了hive，hdfs 被格式化了，导致现在hive上原来的元数据没有清理掉。由于hive 上所有元数据均保存在mysql中，所以，可以从mysql上删除表相关信息即可删除hive表，而且不会影响hdfs上数据。分析：hive在mysql上的相关元数据表关系图：解决方法：1、...

2019-12-24 19:31:23 1406

转载 JVM调优

先说一下JVM内存模式、GC分类、GC原理。JMV调优的准备工作1)、配置jstatd的远程RMI服务（当我们要看远程服务器上JAVA程序的GC情况的时候，需要执行此步骤），允许JVM工具查看JVM使用情况。将如下的代码存为文件 jstatd.all.policy，放到JAVA_HOME/bin中，其内容如下：不知道JAVA_HOME目录的，可以执行 which java查看。grant ...

2019-12-21 14:48:44 170

不管是YGC还是Full GC,GC过程中都会对导致程序运行中中断,正确的选择不同的GC策略,调整JVM、GC的参数，可以极大的减少由于GC工作，而导致的程序运行中断方面的问题，进而适当的提高Java程序的工作效率。但是调整GC是以个极为复杂的过程，由于各个程序具备不同的特点，如：web和GUI程序就有很大区别（Web可以适当的停顿，但GUI停顿是客户无法接受的），而且由于跑在各个机器上的配置不同...

2019-12-21 14:48:29 216

原创【异常】Could not load xx.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly**

报错Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly**首先检查HiveConf类是否存在：[hadoop@hadoop01 app]$ cd apache-hive-1.1.0-cdh5.7.0-bin/lib/[hadoop@hadoop01 lib]...

2019-12-21 14:24:15 392

原创【异常】Hive作业异常kill ：Hadoop MapReduce Error - /bin/bash: /bin/java: is a directory异常

问题描述在使用Hive Client跑job时，一直提示job被kill，然后观察YARN的WebUI进行查看，如图：然后观察Hive Client的控制台输出，如下：Launching Job 1 out of 3Number of reduce tasks is set to 0 since there's no reduce operatorStarting Job = job_...

2019-12-21 14:23:44 388

原创 java.sql.SQLException: No suitable driver found for jdbc://mysql://hadoop001:3306/xxx

IDEA程序代码中需要访问mysql，出现java.sql.SQLException: No suitable driver found for jdbc://mysql://hadoop001:3306/ruoze_g6有可能是驱动没加进来，有可能是连接地址url写错了。需要在pom中加上mysql驱动：<dependency> <groupId>mysq...

2019-12-20 12:43:23 263

原创访问HDFS权限异常：Permission denied: user=СÎ÷ѧÎè, access=WRITE, inode="/":hadoop:supergroup:drwx

IDEA中的scala项目访问HDFS，程序运行，可能出现的异常：权限问题：Permission denied: user=СÎ÷ѧÎè, access=WRITE, inode="/":hadoop:supergroup:drwxr-xr-x修改运行时参数，因为HDFS上的文件所属的用户是hadoop，所以这里的用户也改成hadoop：-DHADOOP_USER_NAME=hadoop：...

2019-12-20 12:42:50 4730

qq_29726945的博客