Java网页数据采集器[中篇-数据存储]

本期概述

上期我们学习了html页面的数据采集,为了方便我们今后来调用收集到的数据,首先我们需要学习下如何将这些采集到的数据存储起来(MySql数据库).

数据采集页面 2011-2012赛季英超球队战绩

 

关于Java操作MySql

在使用java 操作MySql数据库之前 我们需要在项目文件中导入 一个jar包(mysql-connector-java-5.1.18-bin)

可以在MySql官网下载 Connector/J 5.1.18

第一次使用MySql?   请看 java连接MYSQL      

如何在java项目中导入jar包?

请看这个 Eclipse下如何导入jar包

关于MySql数据库 

如果是初学者 想使用MySql数据库的话 可以去这里 XAMPP中文官网  下载 XAMPP 套装.

XAMPP（Apache+MySQL+PHP+PERL）是一个功能强大的建 XAMPP 软件站集成软件包, 而且一键式安装, 无需修改配置文件,非常好用.  

 

好了, 需要准备的事宜都完成了,我们开始写代码.

打开MySql数据库,创建数据库 和表 (拷贝如下代码 到mysql里直接执行即可).

创建MySql数据库

 

创建好后,我们来看看数据库结构.

 

主程序代码
数据库弄好了,我们开始实施java代码, 这里简单介绍下各个类以及类所包含的方法.

DataStorage类 以及包含的 dataStore()方法 用于数据收集和存储  

DataStorage类

 

 DataStructure类  简单数据结构 里面包含了相应的字段  用于将收集的数据临时性存储

DataStructure 类

 

GroupMethod类 以及包含的  regularGroup()方法 用于正则匹配html 源代码上的数据

GroupMethod 类

 

MySql类 以及包含的 datatoMySql() 方法 用于执行SQL插入语句 将临时存储在数据结构里的数据 插入到MySql数据库中

MySql类

 

Main 主函数 用于数据输出

Main 主函数

运行查看
好了,下面我们来执行下 看看结果.

数据采集页面 2011-2012赛季英超球队战绩

Html页面截图-初始阶段

 

MySql数据库截图-初始阶段

 

Html页面截图-结束阶段

 

MySql数据库截图-结束阶段

一共收集到 189条记录

MySql数据库显示 189 行数据

这样,我们2011-2012英超联盟赛季的比赛战绩就全部收集并存到MySql数据库里了.  :)

附上源代码下载   htmlDataStorage.zip