8.5 网络爬虫

网络获取数据

1. 获取网络数据的URL
2. 通过URL对数据进行下载
3. 分析数据，使数据规格化（正则表达式）
4. 对数据进行抽取、清洗、存储。

获取数据的两种方式

code1:

import java.io.BufferedReader;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;

/**
 * 网络爬虫的原理
 * 获取数据的一般方法：网站允许你获取
 * @author dxt
 *
 */
public class SpiderTest01 {
	public static void main(String[] args) throws Exception{
		//1.获取URL
		URL url = new URL("https://www.jd.com");
		//2.下载资源
		InputStream is = url.openStream();
		BufferedReader br = new BufferedReader(new InputStreamReader(is, "UTF-8"));
		String msg = null;
		while((msg=br.readLine()) != null){
			System.out.println(msg);
		}
		br.close();
		//3.分析数据
		//...
	}
}

code2:

import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;

/**
 * 网络爬虫原理+模拟浏览器
 * 一般浏览器可以访问的数据，都可以访问；
 * 用于部分不让访问的网页
 * @author dxt
 *
 */
public class SpiderTest02 {
	public static void main(String[] args) throws Exception{
		//1.获取URL:https://www.dianping.com
		URL url = new URL("https://www.jd.com");
		
		//2.下载资源
		HttpURLConnection conn = (HttpURLConnection)url.openConnection();
		//2.1 模拟http中的get方法，假装浏览器欺骗服务器
		conn.setRequestMethod("GET");
		//2.2 查看网页请求中的Uesr-Agent
		conn.setRequestProperty(
				   "User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/17.17134");
		//3. 处理数据
		BufferedReader br = new BufferedReader(new InputStreamReader(conn.getInputStream(), "UTF-8"));
		String msg = null;
		while((msg=br.readLine()) != null){
			System.out.println(msg);
		}
	}
}