java抓取并保存图片_【初学】java爬虫并抓取图片保存

这是我参考了网上一些资料写的第一个java爬虫程序

本来是想获取煎蛋网无聊图的图片，但是网络返回码一直是503，所以换了网站

/*

* 网络爬虫取数据

*

* */

public class JianDan {

public static String GetUrl(String inUrl){

StringBuilder sb = new StringBuilder();

try {

URL url =new URL(inUrl);

BufferedReader reader =new BufferedReader(new InputStreamReader(url.openStream()));

String temp="";

while((temp=reader.readLine())!=null){

//System.out.println(temp);

sb.append(temp);

}

} catch (MalformedURLException e) {

// TODO 自动生成的 catch 块

e.printStackTrace();

} catch (IOException e) {

// TODO 自动生成的 catch 块

e.printStackTrace();

}

return sb.toString();

}

public static ListgetMatcher(String str,String url){

Listresult = new ArrayList();

Pattern p =Pattern.compile(url);//获取网页地址

Matcher m =p.matcher(str);

while(m.find()){

String bingoStr = m.group(1);

bingoStr = regexUrl(m.group(1),"(//)*([\\w\\s./:?&-@#$%^]+?)");

if(null != bingoStr && !"".equals(bingoStr)) {

result.add(bingoStr);

}

}

return result;

}

public static String regexUrl(String url,String regex) {

Pattern p =Pattern.compile(regex);//获取网页地址

Matcher m =p.matcher(url);

if(m.matches()) {

String rightStr = m.group(2);

if(!"//".equals(m.group(1)) && (rightStr.contains("jpg") || rightStr.contains("jpeg") || rightStr.contains("png"))) {

return rightStr;

}

}

return null;

}

public static void main(String args[]){

String str=GetUrl("http://www.163.com");

System.out.println(str);

Listouput =getMatcher(str,"src=\"([^