使用Webmagic爬取豆瓣《一出好戏》评价

最新推荐文章于 2021-03-10 08:21:01 发布

qq_40152021

最新推荐文章于 2021-03-10 08:21:01 发布

阅读量419

点赞数

分类专栏： java爬虫

本文链接：https://blog.csdn.net/qq_40152021/article/details/83618428

版权

本文介绍了如何利用Webmagic框架来爬取豆瓣电影《一出好戏》的用户评价。核心是创建一个名为DoubanProcessor的类，该类继承自Webmagic的PageProcessor，并实现process()方法。爬取的URL为：https://movie.douban.com/subject/26985127/comments?start=0&limit=20&sort=new_score&status=P，通过注解方式编写爬虫代码。

摘要由CSDN通过智能技术生成

使用框架：webmagic
项目核心：建立DoubanProcessor类，继承webmagic的PageProcessor，重写process()方法
爬取网址：https://movie.douban.com/subject/26985127/comments?start=0&limit=20&sort=new_score&status=P

代码详情：

 package MyWebMagic;
    import us.codecraft.webmagic.Page;
    import us.codecraft.webmagic.Site;

    import us.codecraft.webmagic.Spider;
    import us.codecraft.webmagic.processor.PageProcessor;
    
    public class DoubanProcessor implements PageProcessor {
        //抓取网站的相关配置，包括编码、抓取间隔、重试次数等
        private Site site = Site.me().setRetryTimes(3).setSleepTime(100);
        private static int count =0;
        
        @Override
     public Site getSite() {
            return site;
        }
    

    @Override