近期帮老师的一位朋友做了数据处理,表格为1985-2014年的电子信息产业、汽车产业和装备制造产业的所有专利(申请号,分类号,申请人等等),其中申请号和分类号需要处理,通过处理生成其是否为融合性专利以及时间。然后统计为每年融合性专利的数量。
第一步,对Excel表名字及页面进行处理,方便循环迭代。我是尽量把每个表切成2MB大小,大概5W条数据左右吧,因为太大了会跑的很慢,一个3MB的表格处理需要16分钟,但是2MB的仅需4分左右。
第二步,在eclipse中导入poi包,因为表格是2007版的,一个poi包是不能对excel表处理的,需要导入四个包。
第三步,编写程序,实现算法,处理完的数据放入txt文件中,用逗号作为分隔符。
第四步,从mysql workbench中导入txt文件到表中
第五步,通过SQL语句去重,并统计所需要的数据
第三步:
主要用到了正则表达式pattern的基本用法,通过Pattern.complie.matcher()的find(start)方法,挑出所需要的数据
package 三大产业数据;
import java.io.BufferedWriter;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.FileWriter;
import java.io.IOException;
imp