java 采集器_Java网页数据采集器实例教程：数据存储

最新推荐文章于 2023-12-05 11:37:19 发布

序雨

最新推荐文章于 2023-12-05 11:37:19 发布

阅读量388

点赞数

文章标签： java 采集器

本文链接：https://blog.csdn.net/weixin_29443363/article/details/114181970

版权

简介：

作为全球运用最广泛的语言,Java 凭借它的高效性,可移植性(跨平台),代码的健壮性以及可强大的可扩展性,深受广大应用程序开发者的喜爱. 作为一门强大的开发语言,正则表达式在其中的应用当然是必不可少的,而且正则表达式的掌握能力也是那些高级程序员的开发功底之体现,做一名合格的网站开发的程序员(尤其是做前端开发),正则表达式是必备的。

最近，由于一些需要，用到了java和正则,做了个的足球网站的数据采集程序，由于是***次做关于java的html页面数据采集，必然在网上查找了很多资料，但是发现运用如此广泛的java在使用正则做html采集方面的(中文)文章是少之又少，都是简单的谈了下java正则的概念，没有真正用在实际网页html采集，所以实例教程更是***(虽然java有它自己的Html Parser，而且十分强大)，但个人觉得作为如此深入人心的正则表达式,理应有其相关的java实例教程,而且应该很多很全.于是在完成java版的html数据采集程序之后,本人便打算写个关于正则表达式在java上的html页面采集,以便有相关兴趣的读者更好的学习.

本期概述：

上期我们讲到了html页面的数据采集,为了方便我们今后来调用收集到的数据,这期我们要讲讲如何做数据存储(MySql数据库).

关于Java操作MySql

在使用java 操作MySql数据库之前我们需要在项目文件中导入一个jar包(mysql-connector-java-5.1.18-bin)

***次使用MySql? 请看java连接MYSQL

如何在java项目中导入jar包?

关于MySql数据库

如果是初学者想使用MySql数据库的话可以去这里XAMPP中文官网下载 XAMPP 套装

XAMPP(Apache+MySQL+PHP+PERL)是一个功能强大的建 XAMPP 软件站集成软件包，而且一键式安装，无需修改配置文件，非常好用。

好了需要准备的事宜都完成了我们开始写代码

打开MySql数据库创建数据库和表 (拷贝如下代码到mysql里直接执行即可)

//创建数据库 htmldatacollection

CREATEDATABASEhtmldatacollection;

//在创建表之前我们需要使用数据库htmldatacollection

use htmldatacollection;

//在数据库里创建一个表 Premiership 用于存储我们收集到的数据

//这里为了方便所有字段全部是字符串格式

CREATETABLEPremiership(Datevarchar(15),

HomeTeamvarchar(20),

AwayTeamvarchar(20),

Resultvarchar(20)

)

创建好后我们来看看数据库结构

数据库弄好了我们开始实施java代码

这里简单介绍下各个类以及类所包含的方法

DataStorage类以及包含的 dataStore()方法用于数据收集和存储

importjava.io.BufferedReader;

importjava.io.IOException;

importjava.io.InputStreamReader;

importjava.net.URL;

publicclassDataStorage {

publicvoiddataStore() {

// 首先用一个字符串来装载网页链接

String strUrl="http://www.footballresults.org/league.php?all=1&league=EngPrem";

String sqlLeagues ="";

try{

// 创建一个url对象来指向该网站链接括号里()装载的是该网站链接的路径

// 更多可以看看 http://wenku.baidu.com/view/8186caf4f61fb7360b4c6547.html

URL url =newURL(strUrl);

// InputStreamReader 是一个输入流读取器用于将读取的字节转换成字符

// 更多可以看看 http://blog.sina.com.cn/s/blog_44a05959010004il.html

InputStreamReader isr =newInputStreamReader(url.openStream(),

"utf-8");// 统一使用utf-8 编码模式

// 使用 BufferedReader 来读取 InputStreamReader 转换成的字符

BufferedReader br =newBufferedReader(isr);

String strRead ="";// new 一个字符串来装载 BufferedReader 读取到的内容

// 定义3个正则用于获取我们需要的数据

String regularDate ="(\\d{1,2}\\.\\d{1,2}\\.\\d{4})";

String regularTwoTeam =">[^<>]*";

String regularResult =">(\\d{1,2}-\\d{1,2})";

//创建 GroupMethod类的对象 gMethod 方便后期调用其类里的 regularGroup方法

GroupMethod gMethod =newGroupMethod();

//创建DataStructure数据结构类的对象用于数据下面的数据存储

DataStructure ds =newDataStructure();

//创建MySql类的对象用于执行MySql语句

MySql ms =newMySql();

inti =0;// 定义一个i来记录循环次数即收集到的球队比赛结果数

intindex =0;// 定义一个索引用于获取分离 2个球队的数据因为2个球队正则是相同的

// 开始读取数据如果读到的数据不为空则往里面读

while((strRead = br.readLine()) !=null) {

/**

* 用于捕获日期数据

String strGet = gMethod.regularGroup(regularDate, strRead);

// 如果捕获到了符合条件的日期数据则打印出来

if(!strGet.equals("")) {

//System.out.println("Date:" + strGet);

//将收集到的日期存在数据结构里

ds.date = strGet;

// 这里索引+1 是用于获取后期的球队数据

++index;// 因为在html页面里源代码里球队数据是在刚好在日期之后

}

/**

* 用于获取2个球队的数据

strGet = gMethod.regularGroup(regularTwoTeam, strRead);

if(!strGet.equals("") && index ==1) {// 索引为1的是主队数据

// 通过subtring方法分离出主队数据

strGet = strGet.substring(1, strGet.indexOf(""));

//System.out.println("HomeTeam:" + strGet); // 打印出主队

//将收集到的主队名称存到数据结构里

ds.homeTeam = strGet;

index++;// 索引+1之后为2了

// 通过subtring方法分离出客队

}elseif(!strGet.equals("") && index ==2) {// 这里索引为2的是客队数据

strGet = strGet.substring(1, strGet.indexOf(""));

//System.out.println("AwayTeam:" + strGet); // 打印出客队

//将收集到的客队名称存到数据结构里

ds.awayTeam = strGet;

index =0;//收集完客队名称后需要将索引还原用于收集下一条数据的主队名称

}

/**

* 用于获取比赛结果

strGet = gMethod.regularGroup(regularResult, strRead);

if(!strGet.equals("")) {

// 这里同样用到了substring方法来剔除'" 标签来获取我们想要的比赛结果

strGet = strGet.substring(1, strGet.indexOf(""));

//System.out.println("Result:" + strGet);

ds.result = strGet;//将收集到的比赛结果存到数据结构里

//System.out.println();

//MySql插入语句

sqlLeagues ="INSERT INTO Premiership values(\""

+ ds.date +"\","+"\""+ ds.homeTeam

+"\","+"\""+ ds.awayTeam +"\","+"\""+ ds.result +"\")";

//调用MySql类的datatoMySql()方法来执行 MySql插入语句

ms.datatoMySql(sqlLeagues);

i++;//每插入完一条记录 i+1;

System.out.println("第"+i+"条数据插入成功");

}

// 当读完数据后记得关闭 BufferReader

br.close();

//System.out.println("共收集到" + i + "条比赛记录");// 打印出循环次数

//当数据存储完成后打印出收集球队记录数

System.out.println("数据存储完毕,共插入数据库"+i+"条记录");

}catch(IOException e) {

// 如果出错抛出异常

e.printStackTrace();

}

DataStructure类简单数据结构里面包含了相应的字段用于将收集的数据临时性存储

//创建一个数据结构类来装载收集到的数据

publicclassDataStructure {

//定义数据字段

publicString homeTeam;

publicString awayTeam;

publicString date;

publicString result;

}

GroupMethod类以及包含的 regularGroup()方法用于正则匹配html 源代码上的数据

importjava.util.regex.Matcher;

importjava.util.regex.Pattern;

publicclassGroupMethod {

// 传入2个字符串参数一个是pattern(我们使用的正则) 另一个matcher是html源代码

publicString regularGroup(String pattern, String matcher) {

Pattern p = Pattern.compile(pattern, Pattern.CASE_INSENSITIVE);

Matcher m = p.matcher(matcher);

if(m.find()) {// 如果读到

returnm.group();// 返回捕获的数据

}else{

return"";// 否则返回一个空值

}

MySql类以及包含的 datatoMySql() 方法用于执行SQL插入语句将临时存储在数据结构里的数据插入到MySql数据库中

importjava.sql.Connection;

importjava.sql.DriverManager;

importjava.sql.SQLException;

importjava.sql.Statement;

/**

* @MySql类用于实施MySql查询语句

*/9publicclassMySql {

//定义MySql驱动,数据库地址,数据库用户名密码, 执行语句和数据库连接

publicString driver ="com.mysql.jdbc.Driver";

publicString url ="jdbc:mysql://127.0.0.1:3306/htmldatacollection";

publicString user ="root";

publicString password ="root";

publicStatement stmt =null;

publicConnection conn =null;

//创建一个插入数据的方法

publicvoiddatatoMySql(String insertSQl) {

try{

Class.forName(driver).newInstance();

}catch(Exception e) {

System.out.println("Unable to find the local driver");

e.printStackTrace();

}

//创建连接

conn = DriverManager.getConnection(url, user, password);

//创建一个 Statement 对象来将 SQL 语句发送到数据库

stmt = conn.createStatement();

}catch(SQLException e) {

e.printStackTrace();

}

try{

//执行SQL 插入语句

stmt.executeUpdate(insertSQl);

}catch(SQLException e) {

e.printStackTrace();

}

try{

//执行完停止执行语句

stmt.close();

//执行完关闭数据库连接

conn.close();

}catch(SQLException e) {

e.printStackTrace();

}

Main 主函数用于数据输出

publicclassMain {

publicstaticvoidmain(String[] args) {

//在主函数里调用DataStorage类里的dataStore()方法

DataStorage ds =newDataStorage();

ds.dataStore();

}

好了下面我们来执行下看看结果

Html页面截图-初始阶段

MySql数据库截图-初始阶段

Html页面截图-结束阶段

MySql数据库截图-结束阶段

一共收集到 189条记录

MySql数据库显示 189 行数据

这样我们2011-2012英超联盟赛季的比赛战绩就全部收集并存到MySql数据库里了 :)

当然这里只是抓取并存储了一个页面的内容,如果感兴趣想抓去更多的页面内容你可以分析下该链接后的联盟名例如 league=EngPrem 通过改变league名来获取所有联盟的比赛数据你可以写个枚举接口把所有球队的名字放进去. 然后在DataStorage类里实施该接口将枚举转换成球队数组

然后来附加到 "http://www.footballresults.org/league.php?all=1&league=" 链接后面来补齐链接循环读取各个联盟比赛页面的内容

同样还有更智能的方法你可以写个方法从http://www.footballresults.org/allleagues.php页面获取所有球队的名字同样循环补齐链接读取各联盟页面内容

【编辑推荐】

【责任编辑：小林 TEL：(010)68476606】

序雨

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
java 采集器_Java网页数据采集器实例教程：数据存储

简介：作为全球运用最广泛的语言,Java 凭借它的高效性,可移植性(跨平台),代码的健壮性以及可强大的可扩展性,深受广大应用程序开发者的喜爱. 作为一门强大的开发语言,正则表达式在其中的应用当然是必不可少的,而且正则表达式的掌握能力也是那些高级程序员的开发功底之体现,做一名合格的网站开发的程序员(尤其是做前端开发),正则表达式是必备的。最近，由于一些需要，用到了java和正则,做了个的足球网站的数...
复制链接

扫一扫