按行读取批量日志文件，并将一部分数据写入Excel表格

按行读取批量日志文件，并将一部分数据写入Excel表格

前言

第一次写博客，也是第一次写读取文件导出为Excel表格的案例，其中去重，我试过很多方法，包括list集合循环去重，双重map去重，数组等，租最后才想到将两个判重的条件拼接作为key，最后导出表格时再遍历取出并截取。所以下面代码中许多注释的内容都是测试所使用的，有兴趣的可以看看，有好的建议可以提出来，一起学习！

1.需求

Java编写脚本，处理批量日志文件。可以读取某个文件夹下所有文件和子文件夹内的日志文件。以本次代码需求为例：需要读取日志文件中的IP、OID、oidsObj所对应的数据，并根据IP、OID两个元素组合判重，去掉重复的数据，在导入Excel表格。

2.解决思路

1、按行读取给定文件夹下所有文件；
2、对每一行读取的数据经常处理，取包含三个字段对应的一行数据temp.contains(“peerAdd为=”)、temp.contains(“OID==”)、temp.contains(“oidsObj==”)；
3、对所需的每行数据进行截取，（String[] str = temp.split("=====================");
str = str[1].split("/");）获得IP、OID、oidsObj；
4、把截取的IP、OID、oidsObj分别存入三个集合中以便之后便利取出作为map集合的组合key；
5、以一个文件为单位，将IP、OID拼接作为key，oidsObj作为value存入map集合；
6、最后进行导入Excel表格。

3.源代码

package file;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.OutputStream;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.HashSet;
import java.util.List;
import java.util.Map;
import java.util.Set;

import org.apache.poi.hssf.userm