- 博客(4)
- 收藏
- 关注
RSS订阅原创 HDP SparkSql远程操作Hive时的报错Unrecognized Hadoop major version number: 3.x.x处理，适用于spark2.x与hive3.x之间的交互
1.首先是spark2.3.2依赖包spark-hive_2.11下的hive-exec.1.2.1.spark2.jar这个包没有对hadoop3.0的支持。而且我也按照大佬讲的设置了，也没有生效，换成我自己的spark版本号就可以用了，也没那么多时间深究，奇怪就先奇怪吧。HDP版本3.1.4，Hadoop3.1.4，Spark2.3.2，Scala2.11.x，Hive3.1.0。hive3.x后开始支持ACID，默认是开启的，但是Spark2.x不支持读取ACID表。这个地方我是无比懵比的。
2024-08-04 04:45:41
903
原创 HDP ResourceManager启动失败，后台也无进程
故障解除：删掉失效的进程号文件，或者删除所有RM进程号文件，重启RM服务。原因：手动重启过RM，或者因为其他原因导致RM后，Ambari未监控到。此时目录中肯定是多个进程号文件，导致RM启动时不知道找哪个启动。进入ResourceManager记录进程号的目录。
2024-08-03 22:06:30
564
原创 HDP 后台NameNode启动，但Ambari服务显示未注册或者未启动
原因：手动后台重启过NameNode，导致记录NameNodeID等文件权限不是hdfs用户。2.更改NameNode锁文件in_use.lock的权限，current同级目录。本人测试用的HDP版本为Ambari2.7.4+HDP3.1.4。1.更改current目录及目录中文件的权限。
2024-08-03 21:44:49
203
原创 linux for循环 + awk遍历
现有一段字符数据tableslink='table1|table2|table3'table_kid='kid1|kid2|kid3'目的是循环遍历表名及其对应主键名生成一些通用配置文件，方便后续程序调用注意：这里可以使用数组这种方式，但因为某些特殊原因，在数组不能使用的情况下，换个思路实现数组遍历的目的for i in {1..3}do tables_name=`echo ${tableslink} | awk -F '|' '{print $'$i'}'` echo $t
2021-09-03 12:34:07
3911
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人