java的net包_利用java的net包来实在数据采集的功能

最近有好多朋友问我，数据抓取用java怎么做，就是每天把新浪的内地新闻频道的新闻前20条，抓到自己的网站或系统里，今天我统一在这里提供一个简单的例子，由于在这个过程中还需要解析html字符串，所以，我只教朋友们抓数据，至于怎么处理在本文不考虑。接下来看例子：

package net.xinhudong.html;

import java.io.ByteArrayOutputStream;

import java.io.InputStream;

import java.net.HttpURLConnection;

import java.net.URL;

public class htmlRequest {

/**

* @param args

* @throws MalformedURLException

*/

public static void main(String[] args) throws Exception{

URL url = new URL("http://roll.news.sina.com.cn/news/gnxw/gdxw1/index.shtml");

HttpURLConnection conn = (HttpURLConnection)url.openConnection();

conn.setRequestMethod("GET");

conn.setConnectTimeout(5 * 1000);

InputStream inStream = conn.getInputStream();//通过输入流获取html数据

byte[] data = readInputStream(inStream);//得到html的二进制数据

String html = new String(data);

System.out.println(html);//在控制台输入得到的html代码

}

public static byte[] readInputStream(InputStream instream) throws Exception{

ByteArrayOutputStream outStream = new ByteArrayOutputStream();

byte[] buffer = new byte[1204];

int len = 0;

while ((len = instream.read(buffer)) != -1) {

outStream.write(buffer,0,len);

}

instream.close();

return outStream.toByteArray();

}

}

运行这个程序后，可以在控制台看到上面网址中的页面源代码，在源代码中可以找到和的注释标签，我们利用这些注释标签来对html进行截取，然后从中获得到

，把中的内容一条一条的放在一个List中，然后保存这个List到数据库就完成了数据采集的功能。