Java写的爬虫爬百度首页Code《转自零基础写Java知乎爬虫之先拿百度首页练练手》

import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.URL;
import java.net.URLConnection;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
public class BaiDuDemo {
	static String sendGet(String url){
		//定义一个字符串用来存储网页内容
		String result = "";
		//定义一个缓冲输入字符流
		BufferedReader in = null;
		try{
			//将string转成url对象URL 
			realUrl = new URL(url);
			//初始化一个链接到那个url的连接
			URLConnection connection = realUrl.openConnection();
			//开始实际的连接
			connection.connect();
			//初始化BuffereReader输入流来读取URL的响应
			in = new BufferedReader(new InputStreamReader(
					connection.getInputStream()));
			//用来临时存储抓取到的每一行数据
			String line;
			while ((line = in.readLine()) != null) {
				//遍历抓取到的每一行并将其存储到result里面
				result += line;
			}
		}catch (Exception e) {
			System.out.println("发送GET请求出现异常！" + e);
			e.printStackTrace();
		}
		//使用finally来关闭输入流
		finally{
			try {
				if(in != null){
					in.close();
				}
			} catch (Exception e2) {
				e2.printStackTrace();
			}
		}
		
		return result;
	}
	
	static String RegexString(String targetStr, String patternStr){
		//定义一个样式模板，此中使用正则表达式，括号中是要抓的内容
		//相当于埋好了陷阱匹配的地方就会掉下去
		Pattern pattern = Pattern.compile(patternStr);
		//定义一个matcher用来做匹配
		Matcher matcher = pattern.matcher(targetStr);
		//如果找到了
		if(matcher.find()){
			return matcher.group(1);
		}
		
		return "";
	}
	
	public static void main(String[] args) {
		//定义即将访问的连接
		String url ="http://www.baidu.com";
		//访问连接并获取页面内容
		String result = sendGet(url);
		//使用正则匹配图片的src内容
		String imgSrc = RegexString(result, "src=\"(.+?)\"");
		System.out.println(imgSrc);
	}
}