SpringBatch 容错处理,跳过异常并记录异常数据

业务需求-業務要求:

读取txt文本数据,但是其中有几行的格式不符合分割规则
txtファイルのデータを読み取って、split規則に合わないデータがいくつかの行目あります
那么这种情况下,如果读取时发生异常类型为空指针的异常,跳过该异常,并记录当前引发异常的数据。
で、こうした中、読み取り中には、発生され異常のタイプがNullPointerExceptionとなる場合、異常で実行中止されることをスキップして、現時点に異常を引かれたデータを記録として保存します

实现过程:

1.skip层的skip()和skipLimit()方法

skipLimit() 用于指定跳过该异常的最大次数,如超过1000次则不跳过。
skip() 用于指定所要跳过的异常类型
参考如下:

    @Bean
    public Step step1() {

            //这个版本不带数据处理校验规则
        return stepBuilderFactoryObj.get("stepForUserInfo")
                .<UserInfo, UserInfo>chunk(1000000)
                .reader(flatFileItemReaderOfUserInfo)
                .faultTolerant()//开启容错
                .skipLimit(1000)//最大跳过数(允许跳过多少次这类异常)
                .skip(NullPointerException.class)//如果出现该类型的异常,则跳过无视
                .writer(writerSuperOfNotSub)
                .build();
    }

参考:https://blog.csdn.net/neweastsun/article/details/103720820

2.SkipListener监听接口的实现

SkipListener叫做跳过监听器
用于监听读(reader),写(writer),处理(processor)三个步骤所发生的跳过事件。
可以通过实现它的三个不同方法来监听。
它有两个泛型,T泛型用于指定Process对应的类型,S泛型用于指定Writer对应的类型。
而在onSkipInRead中,Throwable可以直接被打印出来,用于显示出错数据的内容。
出现读数据跳过错误时,需要执行的监听
void onSkipInRead(Throwable var1);

发生写操作跳过错误时,需要执行的监听
void onSkipInWrite(S var1, Throwable var2);

处理数据时跳过错误时,需要执行的监听
void onSkipInProcess(T var1, Throwable var2);

@Component // 监听器交由spring ioc容器管理,这样的话,调用listener()方法时,就不需要new了,可以通过注入对象来节省资源。
public class SkipListenerForUserInfo implements SkipListener<Userinfo,Userinfo> {


    @Override
    public void onSkipInRead(Throwable throwable) {
        System.out.println("该行出错读取时出错,已经保存在桌面");
        BufferedWriter bw = null;
        try {
            bw = new BufferedWriter(new FileWriter("C:\\Users\\1\\Desktop\\tempSkipExceptionParams.txt"));
            bw.write(throwable.toString());
            bw.newLine();
            bw.flush();
            bw.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    @Override
    public void onSkipInWrite(Userinfo us, Throwable throwable) {
        System.out.println(us.toString()+"来自writer监听");

    }

    @Override
    public void onSkipInProcess(Userinfo us, Throwable throwable) {
        System.out.println(us.toString()+"来自process监听");
    }
}

3.Skip结合

此时,我们在skip层再多调用一个方法,就是listener(),参数指定为我们刚才实现了SkipListener接口的实例

	@Autowired
	private SkipListenerForUserInfo skipListenerForUserInfo;//跳过异常监听器

    @Bean
    public Step step1() {
        return stepBuilderFactoryObj.get("stepForUserInfo")
                .<UserInfo, UserInfo>chunk(1000000)
                .reader(flatFileItemReaderOfUserInfo)
                .faultTolerant()//开启容错
                .skipLimit(1000)//最大跳过数(允许跳过多少次这类异常)
                .skip(NullPointerException.class)//如果出现该类型的异常,则跳过无视
                .listener(skipListenerForUserInfo)//指定一个用于监听跳过异常事件的Skip监听处理器。
                .writer(writerSuperOfNotSub)
 
                .build();

    }

参考:
https://my.oschina.net/u/3635618/blog/3190780
https://blog.csdn.net/current_person/article/details/109505663

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值