爬虫

package com.softeem.demo;

import java.io.*;

import java.net.MalformedURLException;

import java.net.URL;

import java.net.URLConnection;

import java.util.regex.Matcher;

import java.util.regex.Pattern;

/**

* java 
爬取网站图片

*/

public class Demo {

//java 程序的入口

public static void main(String[] args) throws MalformedURLException {

// 声明初始化

BufferedReader br=null;

PrintWriter pw=null;

//目标网址

String path=“http://www.xiachufang.com/category/40076/”;

try  {

//创建一个URL对象

URL url=new URL(path);

//打开网络连接

URLConnection urlconn=url.openConnection();

//创建一个指定的存储  文件

FileWriter fw=new FileWriter(“E:/picture.docx”);

//创建一个  字符输出流

pw=new PrintWriter(fw);

//创建一个输入  低级流

InputStream is=urlconn.getInputStream();

//将字节流 转换为字符流

InputStreamReader isr=new InputStreamReader(is);

//在转换为缓冲流  因为是一行一行的

br=new BufferedReader(isr);

//声明一个字符串来接受读取到的内容

String str=null;

//循环 按行读取内容

//图片的正则的表达式

String regex="((http):[^\s]*?(jpge|jpg|png|PNG|JPG))";

//将给定的正则表达式 编译成一个模式

Pattern p=Pattern.compile(regex);

while ((str =br.readLine()) !=null){

//指定模式的匹配器

Matcher m=p.matcher(str);

//循环匹配查找

while (m.find()){

//使用输出流写到指定的位置

pw.println(m.group());

}

}

System.out.println(“获取成功”);

}catch (MalformedURLException e){

e.printStackTrace();

}catch (IOException e){

e.printStackTrace();

} finally {

try{

br.close();

}catch (IOException e){

e.printStackTrace();

}

pw.close();

}

}

}