这是我参考了网上一些资料写的第一个java爬虫程序
本来是想获取煎蛋网无聊图的图片,但是网络返回码一直是503,所以换了网站
/*
* 网络爬虫取数据
*
* */
public class JianDan {
public static String GetUrl(String inUrl){
StringBuilder sb = new StringBuilder();
try {
URL url =new URL(inUrl);
BufferedReader reader =new BufferedReader(new InputStreamReader(url.openStream()));
String temp="";
while((temp=reader.readLine())!=null){
//System.out.println(temp);
sb.append(temp);
}
} catch (MalformedURLException e) {
// TODO 自动生成的 catch 块
e.printStackTrace();
} catch (IOException e) {
// TODO 自动生成的 catch 块
e.printStackTrace();
}
return sb.toString();
}
public static List<String> getMatcher(String str,String url){
List<String> result = new ArrayList<String>();
Pattern p =Pattern.compile(url);//获取网页地址
Matcher m =p.matcher(str);
while(m.find()){
String bingoStr = m.group(1);
bingoStr = regexUrl(m.group(1),"(//)*([\\w\\s./:?&-@#$%^]+?)");
if(null != bingoStr && !"".equals(bingoStr)) {
result.add(bingoStr);
}
}
return result;
}
public static String regexUrl(String url,String regex) {
Pattern p =Pattern.compile(regex);//获取网页地址
Matcher m =p.matcher(url);
if(m.matches()) {
String rightStr = m.group(2);
if(!"//".equals(m.group(1)) && (rightStr.contains("jpg") || rightStr.contains("jpeg") || rightStr.contains("png"))) {
return rightStr;
}
}
return null;
}
public static void main(String args[]){
String str=GetUrl("http://www.163.com");
System.out.println(str);
List<String> ouput =getMatcher(str,"src=\"([^<][\\w\\s./:?&-@#$%^]+?[^.js])\"");
if(null == ouput || ouput.size() ==0) {
System.out.println("无匹配链接");
return ;
}
for(String temp:ouput){
//System.out.println(ouput.get(0));
System.out.println(temp);
}
String aurl=ouput.get(0);
// 构造URL
URL url;
try {
url = new URL(aurl);
// 打开URL连接
URLConnection con = (URLConnection)url.openConnection();
// 得到URL的输入流
InputStream input = con.getInputStream();
// 设置数据缓冲
byte[] bs = new byte[1024 * 2];
// 读取到的数据长度
int len;
// 输出的文件流保存图片至本地
OutputStream os = new FileOutputStream("a.png");
while ((len = input.read(bs)) != -1) {
os.write(bs, 0, len);
}
os.close();
input.close();
} catch (MalformedURLException e) {
// TODO 自动生成的 catch 块
e.printStackTrace();
} catch (IOException e) {
// TODO 自动生成的 catch 块
e.printStackTrace();
}
}
}