用java对大量Excel表处理（去重，生成新属性，统计数量）

    近期帮老师的一位朋友做了数据处理，表格为1985-2014年的电子信息产业、汽车产业和装备制造产业的所有专利（申请号，分类号，申请人等等），其中申请号和分类号需要处理，通过处理生成其是否为融合性专利以及时间。然后统计为每年融合性专利的数量。

    第一步，对Excel表名字及页面进行处理，方便循环迭代。我是尽量把每个表切成2MB大小，大概5W条数据左右吧，因为太大了会跑的很慢，一个3MB的表格处理需要16分钟，但是2MB的仅需4分左右。 

    第二步，在eclipse中导入poi包，因为表格是2007版的，一个poi包是不能对excel表处理的，需要导入四个包。

    第三步，编写程序，实现算法，处理完的数据放入txt文件中，用逗号作为分隔符。

    第四步，从mysql workbench中导入txt文件到表中    

    第五步，通过SQL语句去重，并统计所需要的数据

 

第三步：

        主要用到了正则表达式pattern的基本用法,通过Pattern.complie.matcher()的find(start)方法，挑出所需要的数据

package 三大产业数据;

import java.io.BufferedWriter;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.FileWriter;
import java.io.IOException;
imp