java在网页填写集数据,java网页数据采集(中篇-数据存储)

上期我们学习了html页面的数据采集,为了方便我们今后来调用收集到的数据,首先我们需要学习下如何将这些采集到的数据存储起来(MySql数据库).

打开MySql数据库,创建数据库 和表 (拷贝如下代码 到mysql里(如果没有界面管理工具，就在DOS窗口里输入创建数据库的语句)直接执行即可).

创建MySql数据库

#创建数据库 htmldatacollection

CREATE DATABASE htmldatacollection;

#在创建表之前 我们需要使用数据库htmldatacollection

use htmldatacollection;

#在数据库里 创建一个表 Premiership 用于存储我们收集到的数据

#这里为了方便 所有字段 全部是字符串格式

CREATE TABLE Premiership(

Date varchar(15),

HomeTeam varchar(20),

AwayTeam varchar(20),

Result varchar(20)

)

主程序代码数据库弄好了,我们开始实施java代码, 这里简单介绍下各个类以及类所包含的方法

DataStructure类  简单数据结构 里面包含了相应的字段  用于将收集的数据临时性存储

package org.footballresults;

public class DataStructer {

public String hometeam ;

public String awayteam ;

public String date ;

public String result ;

}

GroupMethod类 以及包含的  regularGroup()方法 用于正则匹配html 源代码上的数据

package org.footballresults;

import java.util.regex.Pattern;

import java.util.regex.Matcher;

public class GroupMethod {

/**

* @param args

*/

// 传入2个字符串参数 一个是pattern(我们使用的正则) 另一个matcher是html源代码

public String regularGroup(String pattern, String matcher) {

// ……………………CASE_INSENSITIVE启用不区分大小写的匹配

// compile函数将给定的正则表达式编译到具有给定的标志的模式p中

Pattern p = Pattern.compile(pattern, Pattern.CASE_INSENSITIVE);

// 创建匹配给定输入与此模式的匹配器m，其返回类型是 Matcher类型

//

Matcher m = p.matcher(matcher);

if (m.find()) { // 如果读到

// group方法返回匹配操作所匹配的子序列等价于substring()方法

return matcher.substring(m.start(), m.end());// m.group();// 返回捕获的数据

} else {

return ""; // 否则返回一个空值

}

}

}

MySql类 以及包含的 datatoMySql() 方法 用于执行SQL插入语句 将临时存储在数据结构里的数据 插入到MySql数据库中

package org.footballresults;

import java.sql.Connection;

import java.sql.DriverManager;

import java.sql.SQLException;

import java.sql.Statement;

//MySql类用于实现数据库的操作

public class MySql {

// 定义MySql驱动，数据库地址，数据库用户名 密码 执行语句 数据库连接

public String driver = "com.mysql.jdbc.Driver";

public String url = "jdbc:mysql://127.0.1:3306/htmldatacollection";

public String user = "root";

public String password = "1";

public Statement stml = null;

public Connection conn = null;

// 插入数据

public void datatomysql(String sqlleague) {

try {

Class.forName(driver).newInstance();

} catch (InstantiationException e) {

// TODO Auto-generated catch block

e.printStackTrace();

} catch (IllegalAccessException e) {

// TODO Auto-generated catch block

e.printStackTrace();

} catch (ClassNotFoundException e) {

// TODO Auto-generated catch block

System.out.println("没有找到数据库驱动");

e.printStackTrace();

}

// 创建连接

try {

conn = DriverManager.getConnection(url, user, password);

if (conn == null)

System.out.println("数据库连接失败");

// 创建一个statement对象将sql语句发送到数据库

stml = conn.createStatement();

} catch (SQLException e) {

// TODO Auto-generated catch block

System.out.println("数据库连接失败");

e.printStackTrace();

}

// 执行sql插入语句

try {

stml.executeUpdate(sqlleague);

} catch (SQLException e) {

// TODO Auto-generated catch block

System.out.println("数据导入失败");

e.printStackTrace();

}

try {

// 结束插入语句

stml.close();

// 关闭数据库连接

conn.close();

} catch (SQLException e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

}

// 输出数据

public void output() {

}

}

Main 主函数 用于数据输出

package org.footballresults;

import java.io.BufferedReader;

import java.io.IOException;

import java.io.InputStreamReader;

import java.net.URL;

/**

* Main主函数 用于数据采集

*

* @author SoFlash - 博客园 http://www.cnblogs.com/longwu

*/

public class Main {

public static void main(String[] args) {

// 首先用一个字符串 来装载网页链接

String strUrl = "http://www.footballresults.org/league.php?all=1&league=EngPrem";

String sqlleague = "";

try {

// 创建一个url对象来指向 该网站链接 括号里()装载的是该网站链接的路径

// 更多可以看看 http://wenku.baidu.com/view/8186caf4f61fb7360b4c6547.html

URL url = new URL(strUrl);

// InputStreamReader 是一个输入流读取器 用于将读取的字节转换成字符

// 更多可以看看 http://blog.sina.com.cn/s/blog_44a05959010004il.html

InputStreamReader isr = new InputStreamReader(url.openStream(),

"utf-8"); // 统一使用utf-8 编码模式

// 使用 BufferedReader 来读取 InputStreamReader 转换成的字符

BufferedReader br = new BufferedReader(isr);

String strRead = ""; // 新增一个空字符串strRead来装载 BufferedReader 读取到的内容

// 定义3个正则 用于匹配我们需要的数据

String regularDate = "(\\d{1,2}\\.\\d{1,2}\\.\\d{4})";

String regularTwoTeam = ">[^<>]*";

String regularResult = ">(\\d{1,2}-\\d{1,2})";

// 创建一个GroupMethod类的对象 ，进行正则匹配

GroupMethod gMethod = new GroupMethod();

// 创建数据结构对象，存储下面的数据

DataStructer ds = new DataStructer();

// 创建mysql类的对象 用于执行mysql语句；

MySql ms = new MySql();

int i = 0; // 定义一个i来记录循环次数 即收集到的球队比赛结果数

int index = 0; // 定义一个索引 用于获取分离 2个球队的数据 因为2个球队正则是相同的

// 开始读取数据 如果读到的数据不为空 则往里面读

while ((strRead = br.readLine()) != null) {

/**

* 用于捕获日期数据

*/

String strGet = gMethod.regularGroup(regularDate, strRead);

// 如果捕获到了符合条件的 日期数据 则打印出来

if (!strGet.equals("")) {

ds.date = strGet;

// System.out.println("Date:" + strGet);

// 这里索引+1 是用于获取后期的球队数据

++index; // 因为在html页面里 源代码里 球队数据是在刚好在日期之后

}

/**

* 用于获取2个球队的数据

*/

strGet = gMethod.regularGroup(regularTwoTeam, strRead);

if (!strGet.equals("") && index == 1) { // 索引为1的是主队数据

// 通过subtring方法 分离出 主队数据

strGet = strGet.substring(1, strGet.indexOf(""));

ds.hometeam = strGet;

// System.out.println("HomeTeam:" + strGet); // 打印出主队

index++; // 索引+1之后 为2了

// 通过subtring方法 分离出 客队

} else if (!strGet.equals("") && index == 2) { // 这里索引为2的是客队数据

strGet = strGet.substring(1, strGet.indexOf(""));

ds.awayteam = strGet;

// System.out.println("AwayTeam:" + strGet); // 打印出客队

index = 0;

}

/**

* 用于获取比赛结果

*/

strGet = gMethod.regularGroup(regularResult, strRead);

if (!strGet.equals("")) {

// 这里同样用到了substring方法 来剔除'" 标签 来获取我们想要的比赛结果

strGet = strGet.substring(1, strGet.indexOf(""));

ds.result = strGet;

// System.out.println("Result:" + strGet);

// System.out.println();

// MySql插入语句

sqlleague = "INSERT INTO tt values(\"" + ds.date + "\","

+ "\"" + ds.hometeam + "\"," + "\"" + ds.awayteam

+ "\"," + "\"" + ds.result + "\")";

// 调用函数，将数据存入到数据库中

ms.datatomysql(sqlleague);

i++;

System.out.println("第" + i + "条数据插入成功");

}

}

// 当读完数据后 记得关闭 BufferReader

br.close();

// System.out.println("共收集到" + i + "条比赛记录");// 打印出循环次数

System.out.println("数据存入完毕，共导入数据库" + i + "记录");

} catch (IOException e) {

// 如果出错 抛出异常

e.printStackTrace();

}

}

}

运行查看好了,下面我们来执行下 看看结果.

这样,我们2011-2012英超联盟赛季的比赛战绩就全部收集并存到MySql数据库里了.  :)