java爬虫框架之webMagic

已于 2022-10-13 16:57:04 修改
阅读量3.4k 收藏 11
点赞数
分类专栏： JAVA爬虫 文章标签： java 爬虫 spring
于 2022-10-13 14:31:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DoAsOnePleases/article/details/127300254
版权

webMagic框架

前言

文章仅供安全领域的朋友学习使用！！
严禁做违法违纪的事情，责任自负

介绍

WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。

webmagic官网 http://webmagic.io/
文档地址 http://webmagic.io/docs/zh/

案例

官方文档写的很详细 可以很简单搭建出一套demo
下面是个案例,爬取房天下北京小区的价格走势图

控制类:

package com.mengkeng.spider_demo.controller;

import com.mengkeng.spider_demo.spider.price.XpaperZgtcbPopeline;
import com.mengkeng.spider_demo.spider.price.XpaperZgtcbProcessor;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import us.codecraft.webmagic.Spider;


@RestController
@RequestMapping("/spider")
public class SpiderController {

    public static final String BASE_URL = "https://esf.fang.com/housing/";
    public static final String PRICE_URL = "https://pinggun.fang.com/RunChartNew/MakeChartData/";
    @RequestMapping("1")
    public String spiderDemo(){
        Spider spider = Spider.create(new XpaperZgtcbProcessor());
        spider.addUrl(BASE_URL).addPipeline(new XpaperZgtcbPopeline()).thread(1).run();
        return "ok";
    }
}

解析类:

package com.mengkeng.spider_demo.spider.price;

import com.alibaba.fastjson.JSON;
import com.mengkeng.spider_demo.config.RestTemplateConfig;
import com.mengkeng.spider_demo.entity.TkBuildingsPriceAjk;
import com.mengkeng.spider_demo.utils.IdGeneratorSnowflake;
import com.mengkeng.spider_demo.utils.RandomStringUtil;
import org.apache.commons.lang3.ArrayUtils;
import org.apache.commons.lang3.StringUtils;
import org.springframework.http.*;
import org.springframework.stereotype.Component;
import org.springframework.util.CollectionUtils;
import org.springframework.web.client.RestTemplate;
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.processor.PageProcessor;
import us.codecraft.webmagic.selector.Html;
import us.codecraft.webmagic.selector.Selectable;

import java.math.BigDecimal;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

@Component
public class XpaperZgtcbProcessor implements PageProcessor {
    public static final String BASE_URL = "https://esf.fang.com/housing/";
    public static final String DETAIL_URL = "https://esf.fang.com/loupan/";
    public static final String PRICE_URL = "https://pinggun.fang.com/RunChartNew/MakeChartData/";
    //https://pinggun.fang.com/RunChartNew/MakeChartData
    // ?newcode=1010749951&city=%u5317%u4EAC&district=%u6D77%u6DC0&commerce=&titleshow=&year=

    @Override
    public void process(Page page) {
        Html html = page.getHtml();

        String pageNum = html.xpath("//span[@class='txt']/text()").toString();
        if (StringUtils.isNotBlank(pageNum)) {
            String pageNow = html.xpath("//a[@class=pageNow]/text()").get();
            if (StringUtils.isNotBlank(pageNow) && "1".equals(pageNow)) {
                String pageNumTrim = Pattern.compile("[^(0-9)]").matcher(pageNum).replaceAll("").trim();
                if (StringUtils.isNotBlank(pageNumTrim)) {
                    for (int i = 2; i <= Integer.parseInt(pageNumTrim); i++) {
                        String random1 = RandomStringUtil.nextString18();
                        page.addTargetRequest(BASE_URL + "__0_3_0_0_" + i + "_0_0_0/?rfss=1-" + random1 + "-2b");
                    }
                }
            }

            List<Selectable> nodes = html.xpath("//div[@class='list rel mousediv']/dl/dd").nodes();
            for (Selectable node : nodes) {
                String code = node.xpath("//p[1]/a[2]/@projcode").toString();
                String community = node.xpath("//p[1]/a[1]/text()").toString();
                String area = node.xpath("//p[2]/a[1]/text()").toString();
                if (StringUtils.isNotBlank(code)) {
                    HashMap<String, Object> map = new HashMap<>();
                    map.put("newcode", code);
                    map.put("city", cnToUnicode("北京"));
                    map.put("district", cnToUnicode(area));

                    HttpHeaders headers = new HttpHeaders();
                    headers.setContentType(MediaType.APPLICATION_JSON_UTF8);
                    HttpEntity<String> entity = new HttpEntity<>(JSON.toJSONString(map), headers);
                    RestTemplate restTemplate = null;
                    try {
                        restTemplate = new RestTemplate(RestTemplateConfig.generateHttpRequestFactory());
                    } catch (Exception e) {
                        e.printStackTrace();
                    }
                    ResponseEntity<String> stringResponseEntity = restTemplate.exchange(PRICE_URL, HttpMethod.POST, entity, String.class);
                    Pattern compile = Pattern.compile(",(\\w+)]");
                    Matcher matcher = compile.matcher(stringResponseEntity.getBody());

                    Pattern compileMonth = Pattern.compile("年(\\w+)月");
                    Matcher matcherMonth = compileMonth.matcher(stringResponseEntity.getBody());
                    ArrayList<String> list = new ArrayList<>();
                    while (matcherMonth.find()) {
                        list.add(matcherMonth.group(1));
                    }

                    Pattern compileYear = Pattern.compile("&(\\w+)年");
                    Matcher matcherYear = compileYear.matcher(stringResponseEntity.getBody());
                    int year = 2020;
                    while (matcherYear.find()) {
                        year = Integer.parseInt(matcherYear.group(1));
                    }
                    ArrayList months = null;
                    if (!CollectionUtils.isEmpty(list)) {
                        months = getMonths(year, Integer.parseInt(list.get(0)), Integer.parseInt(list.get(1)));
                    }

                    int count = 0;
                    while (matcher.find()) {
                        TkBuildingsPriceAjk ajk = new TkBuildingsPriceAjk();
                        ajk.setDataOrigin("anjuke");
                        ajk.setId(IdGeneratorSnowflake.snowflakeId());
                        ajk.setCommunityCode(code);
                        ajk.setCommunity(community);
                        if (!CollectionUtils.isEmpty(months) && months.size() > count) {
                            ajk.setYearmonth(months.get(count).toString());
                        }
                        count++;
                        ajk.setAvgPrice(new BigDecimal(matcher.group(1)));
                        page.putField(page.getUrl() + RandomStringUtil.nextString18() + count, ajk);
                    }
                }
            }
        } else {
            //详情
        }
    }

    private void parseList(Page page, Html html) {
        List<Selectable> nodes = html.xpath("//ul[@class=pList]/li").nodes();
        for (Selectable node : nodes) {
            String address = node.xpath("//div[@class=listX]/p[3]/text()").toString();
            String href = node.xpath("//a[1]/@href").toString();
            String mount = node.xpath("//strong/text()").toString();
        }

        //  首页添加逻辑
        String[] xiaoqus = page.getUrl().get().split("xiaoqu/");

        if (ArrayUtils.contains(xiaoqus, "n1") || xiaoqus.length <= 1) {
            String totalPage = html.xpath("//div[@class=total-box]/span/text()").toString();
            int pageNum = Integer.valueOf(totalPage) / 30 + (Integer.valueOf(totalPage) % 30 > 1 ? 1 : 0);
            for (int i = 2; i <= 3; i++) {
                page.addTargetRequest(BASE_URL + "n" + i + "/");
            }
        }
    }

    public boolean checkList(Html html) {
        return html.xpath("//div[@class=pageBox]]").match();
    }

    @Override
    public Site getSite() {
        return Site.me().setDomain(BASE_URL).setRetryTimes(3).setSleepTime(1000).setCharset("utf-8").setTimeOut(5000)
                .setUserAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:95.0) Gecko/20100101 Firefox/95.0")
                .addHeader("Refresh", BASE_URL);
    }

    private String cnToUnicode(String cn) {
        char[] chars = cn.toCharArray();
        StringBuilder returnStr = new StringBuilder();
        for (int i = 0; i < chars.length; i++) {
            returnStr.append("\\u").append(Integer.toString(chars[i], 16));
        }
        return returnStr.toString();
    }

    public static ArrayList getMonths(int year, int start, int end) {
        ArrayList res = new ArrayList();
        for (int i = start; i <= (end == 12 ? 12 : end + 12); i++) {
            if (i > 12) {
                res.add((year + 1) + String.format("%02d", i - 12));
            } else {
                res.add(year + String.format("%02d", i));
            }
        }
        return res;
    }
}

持久化类:

package com.mengkeng.spider_demo.spider.price;

import com.alibaba.fastjson.JSON;
import com.baomidou.mybatisplus.core.conditions.query.QueryWrapper;
import com.mengkeng.spider_demo.entity.TkBuildingsPriceAjk;
import com.mengkeng.spider_demo.mapper.TkBuildingsPriceAjkMapper;
import lombok.extern.slf4j.Slf4j;
import org.springframework.stereotype.Component;
import us.codecraft.webmagic.ResultItems;
import us.codecraft.webmagic.Task;
import us.codecraft.webmagic.pipeline.Pipeline;
import com.mengkeng.spider_demo.utils.ContextUtil;

import java.util.Map;
import java.util.Objects;

@Component
@Slf4j
public class XpaperZgtcbPopeline implements Pipeline {

    @Override
    public void process(ResultItems resultItems, Task task) {
        TkBuildingsPriceAjkMapper tkBuildingsPriceAjkMapper = ContextUtil.getBean(TkBuildingsPriceAjkMapper.class);
        log.info("持久化开始---------------------------------");
        Map<String, Object> all = resultItems.getAll();
        for (Map.Entry<String, Object> map : all.entrySet()) {
            TkBuildingsPriceAjk ajk = (TkBuildingsPriceAjk) map.getValue();
            QueryWrapper<TkBuildingsPriceAjk> queryWrapper = new QueryWrapper<>();
            queryWrapper.eq("community_code", ajk.getCommunityCode());
            queryWrapper.eq("yearmonth", ajk.getYearmonth());
            try {
                TkBuildingsPriceAjk oldTK = tkBuildingsPriceAjkMapper.selectOne(queryWrapper);
                if (Objects.nonNull(oldTK)) {
                    oldTK.setAvgPrice(ajk.getAvgPrice());
                    tkBuildingsPriceAjkMapper.updateById(oldTK);
                } else {
                    tkBuildingsPriceAjkMapper.insert(ajk);
                }
            } catch (Exception e) {
                log.error("持久化失败" + e.getMessage());
                log.error("失败数据为" + JSON.toJSONString(ajk));
            }
        }
        log.info("持久化结束---------------------------------");
    }
}

用到的工具类以及配置类:

package com.mengkeng.spider_demo.config;

import org.apache.http.conn.ssl.NoopHostnameVerifier;
import org.apache.http.conn.ssl.SSLConnectionSocketFactory;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClientBuilder;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.ssl.SSLContexts;
import org.apache.http.ssl.TrustStrategy;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.http.client.ClientHttpRequestFactory;
import org.springframework.http.client.HttpComponentsClientHttpRequestFactory;
import org.springframework.http.client.SimpleClientHttpRequestFactory;
import org.springframework.web.client.RestTemplate;

import javax.net.ssl.SSLContext;
import java.security.KeyManagementException;
import java.security.KeyStoreException;
import java.security.NoSuchAlgorithmException;

@Configuration
public class RestTemplateConfig {

    @Bean
    public RestTemplate restTemplate(ClientHttpRequestFactory factory) {
        return new RestTemplate(factory);
    }

    @Bean
    public ClientHttpRequestFactory simpleClientHttpRequestFactory() {
        SimpleClientHttpRequestFactory factory = new SimpleClientHttpRequestFactory();
        factory.setConnectTimeout(3000);
        factory.setReadTimeout(5000);
        return factory;
    }

    /**
     * restTemplate发送https处理
     * @return
     * @throws NoSuchAlgorithmException
     * @throws KeyManagementException
     * @throws KeyStoreException
     */
    public static HttpComponentsClientHttpRequestFactory generateHttpRequestFactory()
            throws NoSuchAlgorithmException, KeyManagementException, KeyStoreException {
        TrustStrategy acceptingTrustStrategy = (x509Certificates, authType) -> true;
        SSLContext sslContext = SSLContexts.custom().loadTrustMaterial(null, acceptingTrustStrategy).build();
        SSLConnectionSocketFactory connectionSocketFactory = new SSLConnectionSocketFactory(sslContext,
                new NoopHostnameVerifier());
        HttpClientBuilder httpClientBuilder = HttpClients.custom();
        httpClientBuilder.setSSLSocketFactory(connectionSocketFactory);
        CloseableHttpClient httpClient = httpClientBuilder.build();
        HttpComponentsClientHttpRequestFactory factory = new HttpComponentsClientHttpRequestFactory();
        factory.setHttpClient(httpClient);
        return factory;
    }

}

package com.mengkeng.spider_demo.utils;
import org.springframework.beans.BeansException;
import org.springframework.context.ApplicationContext;
import org.springframework.context.ApplicationContextAware;
import org.springframework.stereotype.Component;

/**
 * @Author: Mr sheng.z
 * @Description: 实现了ApplicationContextAware ，这个类就可以获取到所有引用对象的bean
 * @Date: Create in 13:19 2020/6/30
 */
@Component
public final class ContextUtil implements ApplicationContextAware {
    protected static ApplicationContext applicationContext ;
    @Override
    public void setApplicationContext(ApplicationContext arg0) throws BeansException {
        if (applicationContext == null) {
            applicationContext = arg0;
        }
    }
    public static Object getBean(String name) {
        //name表示其他要注入的注解name名
        return applicationContext.getBean(name);
    }
    /**
     * 拿到ApplicationContext对象实例后就可以手动获取Bean的注入实例对象
     */
    public static <T> T getBean(Class<T> clazz) {
        return applicationContext.getBean(clazz);
    }
}


package com.mengkeng.spider_demo.utils;

import cn.hutool.core.lang.Snowflake;
import cn.hutool.core.util.IdUtil;
import lombok.extern.slf4j.Slf4j;
import org.springframework.stereotype.Component;

/**
 * 雪花算法封装工具类
 * 生成唯一性id
 */
@Slf4j
@Component
public class IdGeneratorSnowflake {

    private static long workerId = 16;
    private static long datacenterId = 11;
    //取得雪花算法并创建全局唯一id
    private static Snowflake snowflake = IdUtil.createSnowflake(workerId, datacenterId);


    public synchronized static long snowflakeId() {
        return snowflake.nextId();
    }

    public synchronized static String snowflakeIdStr() {
        return String.valueOf(snowflake.nextId());
    }

    public synchronized static long snowflakeId(long workerId, long datacenterId) {
        Snowflake snowflake = IdUtil.createSnowflake(workerId, datacenterId);
        return snowflake.nextId();
    }

    public synchronized static long getSnowflake() {
        Snowflake snowflake = IdUtil.getSnowflake(workerId, datacenterId);
        return snowflake.nextId();
    }


}

```java
package com.mengkeng.spider_demo.utils;

import org.apache.commons.lang3.RandomStringUtils;

/**
 *
 * Date: 2022-07-08 11:08
 * Description:
 */
public class RandomStringUtil {
    public static  String nextString18() {
        return RandomStringUtils.random(18, new char[]{'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i'
                , 'g', 'k', 'l', 'm', 'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z', '1', '2', '3', '4', '5', '6', '7', '8', '9', '0'});
    }

}

注意事项

其中需要关注的重点就两处
1.解析类 添加下次爬取链接路径
在这里插入图片描述2.解析类 添加持久化字段
在这里插入图片描述因房天下小区详情页 有些价格走势图不予展示 故抓取到接口请求(public static final String PRICE_URL = “https://pinggun.fang.com/RunChartNew/MakeChartData/”)

后语

该框架原理其实就是将页面下载下来 , 然后用Xpath语法解析页面数据
众所周知 , 有爬虫就有反爬虫 , 频繁发送http请求会被警告限制 , 例如 滑动验证码 或者 跳转登录提示页 那么这种该怎么办呢?
下一期开始另一套框架 selenium 自动化测试框架 模拟人工点击的操作

代码链接

https://download.csdn.net/download/DoAsOnePleases/86752915

萌坑
关注
  • 0
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java爬虫WebMagic框架爬取图片
个人博客
06-02 3294
一.该爬虫用了WebMagic爬虫框架实现 1.WebMagic开发文档:http://webmagic.io/ 2.在使用之前，您需要了解正则表达式和XPath，大神请忽略 二.下面是实现代码和分析 2.1添加maven依赖 不知道maven的童鞋请参考https://my.oschina.net/huangyong/blog/194583 &lt;dependency&g...
webmagic爬取数据
04-22
java程序webmagic爬取京东商品、百度资讯代码
WebMagic
梦想是很难很难的，所以先勇敢一点
10-24 1万+
介绍 WebMagic项目代码分为核心和扩展两部分。核心部分(webmagic-core)是一个精简的、模块化的爬虫实现，而扩展部分则包括一些便利的、实用性的功能。 WebMagic的设计目标是尽量的模块化，并体现爬虫的功能特点。这部分提供非常简单、灵活的API，在基本不改变开发模式的情况下，编写一个爬虫。 扩展部分(webmagic-extension)提供一些便捷的功能，例如注解模式编写爬虫等。同时内置了一些常用的组件，便于爬虫开发。 架构 WebMagic的结构分为Downloader(下载，向Sch
探秘SeimiCrawler：强大的Java爬虫框架
最新发布
gitblog_00046的博客
05-12 359
探秘SeimiCrawler：强大的Java爬虫框架 项目地址:https://gitcode.com/zhegexiaohuozi/SeimiCrawler 一、项目介绍 SeimiCrawler是一款针对Java开发者设计的高效、易用、可分布式部署的爬虫框架。它的目标是简化爬虫开发过程，让开发者更多地关注业务逻辑，而非基础设施的搭建。SeimiCrawler受到了Scrapy的启发，结合了Ja...
java常用的爬虫框架
热门推荐
数据知道的博客
12-31 4万+
目前主流的Java爬虫框架主要有Nutch、Crawler4j、WebMagic、WebCollector等。 1. 分布式爬虫：Nutch github地址：https://github.com/andrewcao95/nutch-crawler Nutch是apache旗下的一个用Java实现的开源索引引擎项目，通过nutch，诞生了hadoop、tika、gora。Nutch的设计初衷主要是...
WebMagic 剖析
北风浊酒
03-21 1245
WebMagic 首先，爬虫的本质：基于Http协议请求目标地址获取响应结果解析并存储。 01 导语 1、爬虫基础知识 2、优秀国产开源爬虫框架webmagic剖析 02 爬虫基础 1、爬虫的本质 爬虫的本质：基于Http协议请求目标地址获取响应结果解析并存储。 2、HTTP请求 请求头（Request Headers）：包装了http请求的基本信息，比较重要的如：user...
爬虫框架，WebMagic，依赖包下载
06-08
WebMagic是一个开源的Java爬虫框架，专为高效、易用和可扩展性而设计。在深入了解WebMagic之前，我们先来谈谈爬虫的基本概念。爬虫，也称为网络爬虫或网页蜘蛛，是一种自动抓取互联网信息的程序。它们通过模拟用户...
java爬虫项目，webmagic源码 java开发爬虫项目
11-20
Java爬虫项目是利用编程语言来自动化收集互联网信息的一种技术，WebMagic是一个开源的Java爬虫框架，专注于简单、快速地实现网页数据抓取。在这个项目中，我们主要探讨WebMagic的源码以及如何利用Java进行爬虫开发。...
基于Java的爬虫框架WebMagic.zip
06-17
WebMagic是一个开源的Java爬虫框架，它设计的目标是简单易用、可扩展性强，能够帮助开发者快速构建自己的网络爬虫项目。WebMagic的核心组件包括四个部分：PageFetcher（页面抓取）、PageProcessor（页面处理）、...
基于Java的WebMagic爬虫框架设计源码
04-18
本项目是基于Java的WebMagic爬虫框架设计源码，包含291个文件，其中主要包含233个java源代码文件，18个xml配置文件等。系统采用了Java、HTML、JavaScript、Ruby、Python、Shell和Kotlin技术，实现了WebMagic爬虫框架...
手摸手学会使用webmagic爬虫框架
weixin_46684099的博客
11-22 2122
什么是webmagic webmagic是一个开源的Java垂直爬虫框架，目标是简化爬虫的开发流程，让开发者专注于逻辑功能的开发。webmagic的核心非常简单，但是覆盖爬虫的整个流程，也是很好的学习爬虫开发的材料。 webmagic的主要特色： 完全模块化的设计，强大的可扩展性。 核心简单但是涵盖爬虫的全部流程，灵活而强大，也是学习爬虫入门的好材料。 提供丰富的抽取页面API。 无配置，但是可通过POJO+注解形式实现一个爬虫。 支持多线程。 支持分布式。 支持爬取js动态渲染的页面。 无框架依赖，可以
网络爬虫——WebMagic详解(一)
吴声子夜歌的博客
07-24 2301
Downloader、PageProcessor、Scheduler、Pipeline都是Spider的一个属性，这些属性是可以自由设置的，通过设置这个属性可以实现不同的功能。核心部分(webmagic-core)是一个精简的、模块化的爬虫实现，而扩展部分则包括一些便利的、实用性的功能。第一部分关于爬虫的配置，包括编码、抓取间隔、超时时间、重试次数等，也包括一些模拟的参数，例如User Agent、cookie，以及代理的设置，我们会在第4部分-“爬虫的配置”里进行介绍。爬虫的监控是0.5.0新增的功能。
探索Java爬虫框架：解锁网络数据之门
hitpter的专栏
09-26 1721
随着互联网时代的发展，大量的数据被存储在各种网页中。Selenium是一个用于自动化浏览器操作的框架，它可以模拟用户在浏览器中的行为，执行JavaScript代码，并获取网页内容。WebMagic是一个基于Java的开源爬虫框架，它提供了一个灵活且易于使用的API，可以帮助开发人员快速开发爬虫程序。你可以从Apache HttpClient的官方网站上下载最新的jar包，并将其添加到你的项目中。Jsoup是一个用于解析HTML文档的Java库，它提供了简单易用的API，可以方便地进行网页内容的解析和处理。
Java爬虫的几种方式
qq_45506362的博客
07-19 1万+
爬虫（Web crawler）是一种自动化程序，用于浏览互联网并收集网页数据。它可以按照预定的规则自动访问网页、提取数据，并将数据存储到本地或其他目标位置。爬虫通常用于搜索引擎、数据挖掘、信息收集、监测等应用。爬虫的基本工作原理是模拟人类在浏览器中访问网页的过程。它发送HTTP请求到目标网站，并获取返回的HTML或其他类型的响应。然后，爬虫解析HTML响应，提取出需要的信息，如链接、文本、图像等。这些信息可以进一步处理、存储或分析。
一款非常牛逼的Java爬虫框架（高度灵活可配置）
02-17 1993
介绍平台以流程图的方式定义爬虫,是一个高度灵活可配置的爬虫平台特性支持Xpath/JsonPath/css选择器/正则提取/混搭提取支持JSON/XML/二进制格式支持多数据源、SQL select/selectInt/selectOne/insert/update/delete支持爬取JS动态渲染(或ajax)的页面支持代理支持自动保存至数据库/文件常用字符串、日期、文件、加解密等函数支持插件扩...
网络爬虫——WebMagic的使用
吴声子夜歌的博客
07-26 1479
WebMagic 是一个非常优秀的 Java 开源网络爬虫框架，其功能覆盖了网络爬虫的 整个生命周期，包括 URL 提取、网页内容下载、网页内容解析和数据存储。WebMagic 项目的源码可以在 GitHub 上进行下载。WebMagic 具有很好的灵活性和可扩展性，支持多线程数据采集和 URL 去重等。在实际应用中，用户可以通过定制 Pipeline 的方式实现其他数据存储需求，如将 数据存储到文本文件、Excel 中等。下面示例为定制的 Pipeline，其作用是将所采集的数据存储 到一个文件中。
Java爬虫—WebMagic
qq_52655865的博客
02-18 1745
WebMagic企业开发，比HttpClient和JSoup更方便WebMagic有DownLoad，PageProcessor，Schedule，Pipeline四大组件，并有Spider将他们组织起来，这四大组件对应就是爬虫的下载，处理，管理，持久化等功能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值