Yelling486的博客

在WebMagic里，实现一个基本的爬虫只需要编写一个类，实现PageProcessor接口即可。这个类基本上包含了抓取一个网站，你需要写的所有代码。该例子使用webmagic爬取天气网上杭州的历史天气数据，使用Jsoup解析页面，代码如下：package com.yelling.weather.spider;import java.util.List;import org.apache.commo

和之前爬取天气网站一样，现在用webmagic爬取中关村在线华为手机的评论。(http://detail.zol.com.cn/405/404275/review.shtml) 之前的天气网站由数据是静态的，解析时很容易就能获取，这次的评论数据不一样，是js动态加载的。f12打开开发人员工具，点击第二页时我们可以在network中看到一条xhr请求 可以发现请求的规律，一款手机对应一个proid