- 博客(9)
- 收藏
- 关注
RSS订阅原创 org.apache.hadoop.hive.ql.parse.SemanticException:Failed to get a spark session: org.apache.hadoop.h
编辑虚拟机中hadoop-3.1.3/etc/hadoop目录下的capacity-scheduler.xml文件。这个配置是用于设置集群中可用于运行的最大资源百分比应用程序主机，控制并发运行的数量应用。可以理解为集群资源不够了,这里把整个集群资源中用于运行的上限值调高,就ok了。这里更改为0.5,默认是0.1。
2023-04-28 16:56:28
1310
原创 Job failed as tasks failed. failedMaps:1 failedReduces:0 killedMaps:0 killedReduces: 0
这个错误是一个很广泛的错误,我这里是犯了其中一个方向的错误,就是在hive表数据中有很多由于之前反复测试从别的层导入该层的脚本生成的重复的数据文件.比如。在使用sqoop将数据从hive向mysql中导入数据时报错。把这些重复的copy文件删除之后就可以正常导入mysql了。
2023-04-27 20:01:33
617
原创 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.FunctionTask
先clean一下,再重新打jar包,然后将不带dependencds的jar包,也就是文件名短的,占用小的那个jar包传到hdfs上,重新创建自定义函数, ok成功啦。暂时还不明白是啥原因,按理说带有dependencds的jar包相关文件更加齐全,为什么不成功呢,求大佬告知。想要创建一个自定义函数,用的是hdfs上的jar包,但是一直报这个错误.
2023-04-26 20:16:01
724
原创 FAILED: SemanticException .. AS clause has an invalid number of aliases. Error encountered near.....
1.发现了我的虚拟机在hive下执行sql语句时,切换数据库运行之后,并不会在hive后面以小括号的形式显示当前操作的数据库,所以也就是说我的自定义函数建在了别的数据库下面,我这个数据库中并没有该函数.2.切换到要操作的数据库,建自定义函数,再运行show functions;检查一下有没有该函数,再运行要运行的sql. ok没问题啦,我真是蠢到家了。我是在hive中执行sql语句用到了自定义函数,但是这里报别名错误,我寻思自定义函数也创建成功了啊,在掉了100根头发之后,
2023-04-26 20:09:15
710
原创 解决HiveException:Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
呐,图中,初始化元数据成功但是还是报这个错误,后来发现了希望之光,(原文在这里,https://blog.csdn.net/frdevolcqzyxynjds/article/details/117197896)百度逛了很久,很多说是先进入mysql ,删除掉元数据库metastore,在重新创建元数据库,再schematool -initSchema -dbType mysql 重新初始化,进入hive/conf,修改配置文件hive-site.xml 注释掉下面这个参数，重启hive，问题就解决了。
2023-04-21 15:19:18
518
2
原创 HDFS block丢失过多进入安全模式（safe mode）,不能在hdfs创建文件的解决方法
退出安全模式 hadoop dfsadmin -safemode leave。这个错误的原因是,丢失的block数量到达配置文件指定的阈值,hdfs开启了安全模式。删除丢失的block块 hdfs fsck / -delete。虚拟机任意目录下执行。
2023-04-20 11:38:41
1352
1
原创 org.apache.spark.SparkException: Invalid Spark URL: spark://HeartbeatReceiver@windows10.microdone.cn
百度了很多,有的说是计算机用户名中间有特殊字符,改了之后还是报这个错误,后来在spark初始化环境后面加上设置主机名和绑定的选项,set(“spark.driver.host”, “aaa”).set(“spark.driver.host”, “127.0.0.1”) 就可以了。
2023-04-13 11:17:34
547
1
原创 Flink与yarn整合流程
在yarn上运行Flink程序需要开启1.hadoop服务(start-all.sh)2.历史服务(mr-jobhistory-daemon.sh start historyserver)3.yarn session服务(flink官网上搜索yarn,有相关命令 即在flink目录下运行./bin/yarn-session.sh --detached),该命令运行到最后会产生一个http地址用于查看运行状况4.最后在flink目录下运行./bin/flink run --class 需要运行的
2023-04-11 16:08:30
177
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人