java新闻采集_java 采集新闻数据

该Java程序从指定的新闻网站(http://news.baidu.com)读取内容,利用正则表达式匹配a标签,抓取新闻链接。通过BufferedReader读取流数据,并输出收集到的新闻信息数量。
摘要由CSDN通过智能技术生成

package org.test;

import java.io.BufferedReader;

import java.io.IOException;

import java.io.InputStreamReader;

import java.net.URL;

import java.util.regex.Matcher;

import java.util.regex.Pattern;

/**

* 数据采集

*/

public class Main {

public static void main(String[] args) {

String strUrl = "http://news.baidu.com";

try {

URL url = new URL(strUrl);

BufferedReader br = new BufferedReader(new InputStreamReader(

url.openStream()));

String strRead = ""; // new 一个字符串来装载 BufferedReader 读取到的内容

// 定义1个规则用于获取a标签的数据

String aPattern = "(?i)]*?href=\"([^\"]*)\"[^>]*>[^<>]*";

int count = 0;

while (null != (strRead = br.readLine())) {

// 捕获a标签数据

String strGet = getMatchData(aPattern, strRead);

if (!strGet.equals("")) {

// 获取想要得到的a标签信息

System.out.println("新闻信息:" + strGet);

count++;

}

}

br.close();

System.out.println("共收集到" + count + "条记录");

} catch (IOException e) {

e.printStackTrace();

}

}

/**

* 抓取html中需要的内容

* @param pattern 要抓取内容的正则表达式

* @param str html数据

* @return

*/

public static String getMatchData(String pattern, String htmlStr) {

Matcher m = Pattern.compile(pattern, Pattern.CASE_INSENSITIVE).matcher(

htmlStr);

// 返回捕获到的数据

return m.find() == true ? m.group() : "";

}

}

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值