业务需求-業務要求:
读取txt文本数据,但是其中有几行的格式不符合分割规则
txtファイルのデータを読み取って、split規則に合わないデータがいくつかの行目あります
那么这种情况下,如果读取时发生异常类型为空指针的异常,跳过该异常,并记录当前引发异常的数据。
で、こうした中、読み取り中には、発生され異常のタイプがNullPointerExceptionとなる場合、異常で実行中止されることをスキップして、現時点に異常を引かれたデータを記録として保存します
实现过程:
1.skip层的skip()和skipLimit()方法
skipLimit() 用于指定跳过该异常的最大次数,如超过1000次则不跳过。
skip() 用于指定所要跳过的异常类型
参考如下:
@Bean
public Step step1() {
//这个版本不带数据处理校验规则
return stepBuilderFactoryObj.get("stepForUserInfo")
.<UserInfo, UserInfo>chunk(1000000)
.reader(flatFileItemReaderOfUserInfo)
.faultTolerant()//开启容错
.skipLimit(1000)//最大跳过数(允许跳过多少次这类异常)
.skip(NullPointerException.class)//如果出现该类型的异常,则跳过无视
.writer(writerSuperOfNotSub)
.build();
}
参考:https://blog.csdn.net/neweastsun/article/details/103720820
2.SkipListener监听接口的实现
SkipListener叫做跳过监听器
用于监听读(reader),写(writer),处理(processor)三个步骤所发生的跳过事件。
可以通过实现它的三个不同方法来监听。
它有两个泛型,T泛型用于指定Process对应的类型,S泛型用于指定Writer对应的类型。
而在onSkipInRead中,Throwable可以直接被打印出来,用于显示出错数据的内容。
出现读数据跳过错误时,需要执行的监听
void onSkipInRead(Throwable var1);
发生写操作跳过错误时,需要执行的监听
void onSkipInWrite(S var1, Throwable var2);
处理数据时跳过错误时,需要执行的监听
void onSkipInProcess(T var1, Throwable var2);
@Component // 监听器交由spring ioc容器管理,这样的话,调用listener()方法时,就不需要new了,可以通过注入对象来节省资源。
public class SkipListenerForUserInfo implements SkipListener<Userinfo,Userinfo> {
@Override
public void onSkipInRead(Throwable throwable) {
System.out.println("该行出错读取时出错,已经保存在桌面");
BufferedWriter bw = null;
try {
bw = new BufferedWriter(new FileWriter("C:\\Users\\1\\Desktop\\tempSkipExceptionParams.txt"));
bw.write(throwable.toString());
bw.newLine();
bw.flush();
bw.close();
} catch (IOException e) {
e.printStackTrace();
}
}
@Override
public void onSkipInWrite(Userinfo us, Throwable throwable) {
System.out.println(us.toString()+"来自writer监听");
}
@Override
public void onSkipInProcess(Userinfo us, Throwable throwable) {
System.out.println(us.toString()+"来自process监听");
}
}
3.Skip结合
此时,我们在skip层再多调用一个方法,就是listener(),参数指定为我们刚才实现了SkipListener接口的实例
@Autowired
private SkipListenerForUserInfo skipListenerForUserInfo;//跳过异常监听器
@Bean
public Step step1() {
return stepBuilderFactoryObj.get("stepForUserInfo")
.<UserInfo, UserInfo>chunk(1000000)
.reader(flatFileItemReaderOfUserInfo)
.faultTolerant()//开启容错
.skipLimit(1000)//最大跳过数(允许跳过多少次这类异常)
.skip(NullPointerException.class)//如果出现该类型的异常,则跳过无视
.listener(skipListenerForUserInfo)//指定一个用于监听跳过异常事件的Skip监听处理器。
.writer(writerSuperOfNotSub)
.build();
}
参考:
https://my.oschina.net/u/3635618/blog/3190780
https://blog.csdn.net/current_person/article/details/109505663