自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(8)
  • 收藏
  • 关注

原创 【异常】hive连接异常

检查:1、Linux上1)Linux防火墙是否关闭了2)网络是否通,linux和windows是否网通,用 `ping ip`3)hiveServer2服务是否开启,10000端口。用`netstat -nlp | grep 进程`2、windows上1)防火墙2)网络是否通,linux和windows是否网通,用 `ping ip`3)访问的ip和端口是否写的正确如果是...

2019-12-24 19:32:20 611

原创 【异常】解决由于HDFS格式化造成Hive数据全部丢失的问题

参考1:https://www.cnblogs.com/kxgdby/p/7956570.html由于之前配置了hive,hdfs 被格式化了,导致现在hive上原来的元数据没有清理掉。由于hive 上所有元数据均保存在mysql中,所以,可以从mysql上删除表相关信息即可删除hive表,而且不会影响hdfs上数据。分析:hive在mysql上的相关元数据表关系图:解决方法:1、...

2019-12-24 19:31:23 1402

转载 JVM调优

先说一下JVM内存模式、GC分类、GC原理。JMV调优的准备工作1)、配置jstatd的远程RMI服务(当我们要看远程服务器上JAVA程序的GC情况的时候,需要执行此步骤),允许JVM工具查看JVM使用情况。将如下的代码存为文件 jstatd.all.policy,放到JAVA_HOME/bin中,其内容如下:不知道JAVA_HOME目录的,可以执行 which java查看。grant ...

2019-12-21 14:48:44 168

转载 JVM参数设置及分析

不管是YGC还是Full GC,GC过程中都会对导致程序运行中中断,正确的选择不同的GC策略,调整JVM、GC的参数,可以极大的减少由于GC工作,而导致的程序运行中断方面的问题,进而适当的提高Java程序的工作效率。但是调整GC是以个极为复杂的过程,由于各个程序具备不同的特点,如:web和GUI程序就有很大区别(Web可以适当的停顿,但GUI停顿是客户无法接受的),而且由于跑在各个机器上的配置不同...

2019-12-21 14:48:29 214

原创 【异常】Could not load xx.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly**

报错Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly**首先检查HiveConf类是否存在:[hadoop@hadoop01 app]$ cd apache-hive-1.1.0-cdh5.7.0-bin/lib/[hadoop@hadoop01 lib]...

2019-12-21 14:24:15 391

原创 【异常】Hive作业异常kill :Hadoop MapReduce Error - /bin/bash: /bin/java: is a directory异常

问题描述在使用Hive Client跑job时,一直提示job被kill,然后观察YARN的WebUI进行查看,如图:然后观察Hive Client的控制台输出,如下:Launching Job 1 out of 3Number of reduce tasks is set to 0 since there's no reduce operatorStarting Job = job_...

2019-12-21 14:23:44 387

原创 java.sql.SQLException: No suitable driver found for jdbc://mysql://hadoop001:3306/xxx

IDEA程序代码中需要访问mysql,出现java.sql.SQLException: No suitable driver found for jdbc://mysql://hadoop001:3306/ruoze_g6有可能是驱动没加进来,有可能是连接地址url写错了。需要在pom中加上mysql驱动:<dependency> <groupId>mysq...

2019-12-20 12:43:23 261

原创 访问HDFS权限异常:Permission denied: user=СÎ÷ѧÎè, access=WRITE, inode="/":hadoop:supergroup:drwx

IDEA中的scala项目访问HDFS,程序运行,可能出现的异常:权限问题:Permission denied: user=СÎ÷ѧÎè, access=WRITE, inode="/":hadoop:supergroup:drwxr-xr-x修改运行时参数,因为HDFS上的文件所属的用户是hadoop,所以这里的用户也改成hadoop:-DHADOOP_USER_NAME=hadoop:...

2019-12-20 12:42:50 4728

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除