异常修复
scx_white
这个作者很懒,什么都没留下…
展开
-
记一次 spark rdd 写数据到 hbase 报 NPE 的问题排查
文章目录前言问题排查前言最近我们的 EMR 集群要从 spark2.3.2 升级到 spark2.4.3 来解决 spark 小文件多的问题。但是在升级后发现之前 spark rdd 写 hbase 正常的任务报错了,花费一番功夫才解决,所以写篇文章记录下。首先看下报错内容CONSOLE# 20/06/09 14:26:48 ERROR Start: 同步数据异常CONSOLE# java.lang.NullPointerExceptionCONSOLE# at org.apache.原创 2020-06-10 15:35:32 · 1076 阅读 · 0 评论 -
关于dubbo 占位符无法解析问题
不知道大家有没有遇到过,你要开发一个新应用要使用 dubbo 、 apollo 等组件,在集成的过程中发现 dubbo 配置文件的占位符无法替换,wtf,配置明明和以前的项目一样,为啥就不行了。我前两天也遇到了这个问题,就一起来分析下。文章目录简单配置介绍问题复现排查apollo排查PropertySourcesPlaceholderConfigurer排查dubbo思考验证想法两个项目为什...原创 2020-03-28 17:16:29 · 4832 阅读 · 13 评论 -
记一次JAVA使用ProcessBuilder执行Shell任务卡死问题分析
背景最近由于某些原因需要把一些原本 location 在 oss (阿里云云对象存储)上的 hive 数据迁移到cosn(腾讯云对象存储)。目前一直在增量进行同步,在迁移之前需要进行数据的对比。至于对比的方法计划有两种,一种是对比 oss 和 cosn 对应文件下的文件所占磁盘空间大小,即使用 hadoop fs -du -s -h 路径 命令,然后对比相应表 location 的数据大小是否一...原创 2019-11-20 21:03:04 · 6502 阅读 · 0 评论 -
Failed opening .rdb for saving: Permission denied
关闭redis服务的时候出现了这个异常Failed opening .rdb for saving: Permission denied[814] 20 Jan 11:46:24.764 # Error trying to save the DB, can't exit.查看异常信息发现是:权限不够 不能够保存redis数据到数据库这个时候可以打开我们的redis原创 2018-01-20 13:59:38 · 12204 阅读 · 1 评论 -
hbase 单个regionserver中region过多 优化
问题目前hbase 总是出现压缩队列和刷新队列过大的告警,导致数据的读写变慢。首先说明一下目前集群的状况 regionServer数量:20 region 数量:6503 regionServer配置:-Xms10g -Xmx10g -Xmn3g原因找到一些可能的原因。region 数量过多regionServer 堆大小为10G,有些小 re...原创 2018-08-06 17:15:14 · 6166 阅读 · 0 评论 -
syntax error near unexpected token `(‘ 异常解决
问题的发现今天执行一个shell脚本时发现报错了,报错内容如下:syntax error near unexpected token `('脚本内容排查了很多遍都没有找到原因,执行的方式为 sh xx.sh然后使用 source xx.sh 执行和 bash xx.sh执行都是 ok 的。知识的了解此时就需要了解 sh source bash 执行文件的区别。首先看两张图...原创 2019-06-11 19:51:27 · 155227 阅读 · 4 评论