大数据
文章平均质量分 76
长乐smile
阿鬼说,能力越大,责任越大,微信搜:Java高手真经,求关注,求支持
展开
-
【总结】hbase master重启恢复失败问题修复
查阅了一番资料,最终定位到是MasterProcWals pv日志过多,在重启HBase Master 的过程中,HBase Master进入活动状态需要读取并实例化所有正在运行的程序当前记录在/apps/hbase/data/MasterProcWALs/目录下对应的文件。于是想着先重启一把,在hbase master 选主成active状态的过程中,发现重启多次都很漫长,且最终因重启时间过长,被hbase-daemon.sh 强杀掉。但最近再次宕机,一直加大jvm内存也不现实。至此,成功解决该问题。原创 2024-04-24 10:49:57 · 986 阅读 · 3 评论 -
【总结】hive-jdbc升级后执行spark.sql查询hive报错NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT
看到 Caused by: java.lang.NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT 首先关键词是HIVE_STATS_JDBC_TIMEOUT,错误原因是NoSuchFieldError,说明存在类冲突,点击查看org.apache.spark.sql.hive.HiveUtils 类源码第212行,发现该代码引用了HiveConf.ConfVars中的枚举值。最后迫于无奈,只能将hive-common的版本号再次降回到1.2.1版本。原创 2023-03-08 11:44:55 · 875 阅读 · 0 评论