昨天写了一篇基本爬虫,简单说一下翻页爬取,其实有些网站的翻页很简单,看地址栏变化可以了,有些页码都是在URL地址中体现出来的。文末附上源码,源码有详细注释。
简单说下今晚的实践以及遇到的问题:
今天爬取某房网的网址,先参观一下,地铁居然打成拼音,小同学不认真啊。
这里选定了两个条件筛选房源(只是不想后面下载太多图片),总数为141套,总共5页。可以看到图片放在img标签里面,看上去应该问题不大。
然后,我们通过分别点击1/2/3..页,看地址栏的变化,会发现很简单的规律:
页码的变化对应地址栏中URL的最后一位数字,那写个循环,地址栏的尾数从1变化到5就可以了。嗯,我也是这么做的。分页挺简单的吧,怎么爬取就不说了,结合上一篇文章和文末的源码看,源码都有注释,下面说说遇到的问题:
F12看下标签,按理说取img标签里的src属性就可以得到结果了。然而却是这样:
很显然不对啊,结果看上去像是错误的情况下的填充图片,事实上也是,跟img标签里的onerror属性的地址显示的是同一张图片。问题在哪儿呢,查阅了资料,得到原因:用了src欺骗手段,实际上网页展示的并不是src的地址,虽然src地址的图片是正确的,src欺骗倒是没听过,不过 data-original 是懒加载的必要属性,可以了解一下。所查阅的资料内容:
资料里的是"data-objurl",而我们实践的网站显示的url地址的属性为"data-original";
这样就拿到5页内容正常的图片了:
最后,附上源码:
maven还是只需要引入:
<dependency>
<groupId>org.jsoup</groupId>
<artifactId>jsoup</artifactId>
<version>1.9.2</version>
</dependency>
代码为一个class类:
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.*;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;
public class SpiderFromXXXFangWithPage {
public static void main(String[] args) throws IOException {
String path = "e:/某房/";//存放文件夹的目录
File file = new File(path);
if (!file.exists()) {//如果文件夹不存在
boolean mkOk = file.mkdir();//创建文件夹
System.out.println("创建文件夹" + (mkOk ? "成功" : "失败"));
}
//存放所有网页的url地址
List<String> allPics = new ArrayList<String>();
//目标爬取的页数为5页
for (int i = 0; i < 5; i++) {
//地址记得修改
String sourceUrl = "https://hangzhou.xxxxx.com/sale/b4-p14-f" + (i+1);//字符串拼接动态地址,最后一位代表页码
List<String> pics = getOnePageUrls(sourceUrl);//获取一页图片url地址
allPics.addAll(pics);
}
downloadPicture(allPics, path);//调用下面下载网站的方法
}
//获取一页图片url地址
private static List<String> getOnePageUrls(String sourceUrl) throws IOException {
Document doc = Jsoup.connect(sourceUrl).get();//获取整个DOM节点
Elements links = doc.select("div#cycleListings.house-detail a[href] img[data-original]");//获取所有div#cycleListings.house-detail下面的img[src]标签
List<String> pics = new ArrayList<String>();//集合存放所有图片链接
for (Element element : links) {
String src = element.attr("data-original");//获取这个属性的内容,也就是url了
pics.add(src);
}
return pics;
}
//链接url下载图片
private static void downloadPicture(List<String> urlList, String path) {
int i = 0;//图片命名用
for (String oneUrl : urlList) {
URL url;
try {
url = new URL(oneUrl);
DataInputStream dataInputStream = new DataInputStream(url.openStream());
FileOutputStream fileOutputStream = new FileOutputStream(new File(path + (i+1) + ".jpg"));
ByteArrayOutputStream output = new ByteArrayOutputStream();
byte[] buffer = new byte[1024];
int length;
while ((length = dataInputStream.read(buffer)) > 0) {
output.write(buffer, 0, length);
}
fileOutputStream.write(output.toByteArray());
dataInputStream.close();
fileOutputStream.close();
} catch (MalformedURLException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
i++;
}
}
}
本文原创,如需转载,请注明出处,谢谢