WebMagic爬取应用市场应用信息

最新推荐文章于 2021-07-06 10:55:59 发布

dmfrm

最新推荐文章于 2021-07-06 10:55:59 发布

阅读量1.1k

点赞数

分类专栏：爬虫文章标签：爬虫 java WebMaic

本文链接：https://blog.csdn.net/u010889616/article/details/81106304

版权

本文介绍如何利用WebMagic爬虫框架抓取华为应用市场的应用信息，包括统计数据和使用多线程爬取。通过自定义Pipline将结果保存至本地文件。

摘要由CSDN通过智能技术生成

WebMagic资料

官方教程 http://webmagic.io/docs/zh/

官方网址 http://webmagic.io/

代码实现

爬取华为应用市场应用信息，统计华为应用市场应用数量，启动20个线程，自定义MyPiple来保存数据。

AppStoreProcessor.java主类

import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;
import us.codecraft.webmagic.selector.Selectable;

/**
 * @author wzj
 * @create 2018-07-17 22:06
 **/
public class AppStoreProcessor implements PageProcessor
{
    // 部分一：抓取网站的相关配置，包括编码、抓取间隔、重试次数等
    private Site site = Site.me().setRetryTimes(3).setSleepTime(100);

    public void process(Page page)
    {
        //获取名称
        String name = page.getHtml().xpath("//p/span[@class=&#