网络爬虫是一种自动获取网页内容的程序,是搜索引擎的重要组成部分
实现过程主要分为以下几部分:
- 有一个URL(理论上只要对方同意,可以下载任意网络资源)
- 下载数据
- 数据分析(会通过正则表达式)
- 数据抽取
- 数据清除
- 数据存储
package study;
import java.io.BufferedReader;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;
public class Exercise {
public static void main(String[] args) throws Exception {
//爬虫获取网络资源的基本步骤(前两步)
URL u=new URL("https://www.jd.com");
//https可以看出http的升级版,更安全,现在大部分用这个
InputStream i=u.openStream();
BufferedReader b=new BufferedReader(new InputStreamReader(i, "UTF-8"));//下载资源也是通过数据流
String s=null;
while(null!=(s=b.readLine())) {
System.out.println(s);//可写到文件中去
}
}
}