webmagic学习笔记(4)---webmagic总体架构分析

最新推荐文章于 2024-01-09 11:19:36 发布
最新推荐文章于 2024-01-09 11:19:36 发布
阅读量825 收藏 1
点赞数
分类专栏： webmagic学习笔记 文章标签： webmagic 爬虫 Java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014636627/article/details/71481341
版权
本文深入探讨webmagic的四个关键组件：PageProcessor、Pipeline、Downloader和Scheduler。PageProcessor是爬虫的核心，用于解析和抽取页面信息；Pipeline处理抽取结果，如保存至数据库；Downloader负责下载网页；Scheduler管理并去重URL。Spider作为组织者，协调这些组件的工作流程，形成完整的爬虫逻辑。
摘要由CSDN通过智能技术生成

在笔记(2)、笔记(3)里，我们对webmagic的eclipse开发环境进行了配置并完成了第一个小爬虫的编写，以上算是对webmagic进行了一次感性的认识。从本篇博文开始，开始学习webmagic的实现细节。
一下内容是我在使用了webmagic进行一些小爬虫编写的基础上的一些自己的认识，很大一部分受官方的使用手册影响。说白了，就是自己在理解的基础上重新打了一遍。
首先，祭出总体架构图。
这里写图片描述
从图中很明显看出webmagic的四大组件：PageProcessor、Pipeline、Downloader、Scheduler。

  • 1.PageProcessor
    对于像我这样的小白来说PageProcessor是实现整个爬虫的需要自己编写的核心代码 。PageProcessor负责解析页面，并根据自己的需求抽取有用信息(包括新的链接)。如果是简单的爬虫，只需要自己定制这一部分即可。

  • 2.Pipeline
    Pipeline负责了抽取结果的处理。比如你想把

最低0.47元/天 解锁文章
韦护的护
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
WebMagic简明教程（一）
chenxiaokang的博客
07-23 8309
WebMagic简明教程（一）前言做项目需要爬取一些数据，不想用Python，就尝试了下webmagic这个爬虫框架，总的来说上手还是比较简单的，这里来总结一下.webmagic是一个简单灵活的Java爬虫框架，如果你熟悉Java而且不想用Python写爬虫，那么webmagic是一个不错的选择.实战日常前戏 首先呢，咱们来先把jar包下载下来：https://github.com/code4cra
最新Java WebMagic爬虫教程
12-13
最新Java WebMagic爬虫教程（包括：HttClient/Jsoup的使用教程）、爬虫案例项目
WebMagic快速入门
weixin_45829957的博客
01-09 3993
一、WebMagic介绍 WebMagic的结构分为Downloader、PageProcessor、Scheduler、Pipeline四大组件，并由Spider将它们彼此组织起来。这四大组件对应爬虫生命周期中的下载、处理、管理和持久化等功能。WebMagic的设计参考了Scapy，但是实现方式更Java化一些。 而Spider则将这几个组件组织起来，让它们可以互相交互，流程化的执行，可以认为Spider是一个大的容器，它也是WebMagic逻辑的核心。 1.1 WebMagic的四个组件 1
网络爬虫——WebMagic详解(一)
吴声子夜歌的博客
07-24 2366
Downloader、PageProcessor、Scheduler、Pipeline都是Spider的一个属性，这些属性是可以自由设置的，通过设置这个属性可以实现不同的功能。核心部分(webmagic-core)是一个精简的、模块化的爬虫实现，而扩展部分则包括一些便利的、实用性的功能。第一部分关于爬虫的配置，包括编码、抓取间隔、超时时间、重试次数等，也包括一些模拟的参数，例如User Agent、cookie，以及代理的设置，我们会在第4部分-“爬虫的配置”里进行介绍。爬虫的监控是0.5.0新增的功能。
WebMagic的学习
weixin_59048239的博客
09-05 674
Downloader、PageProcessor、Scheduler、Pipeline都是Spider的一个属性，这些属性是可以自由设置的，通过设置这个属性可以实现不同的功能。当一个页面上有多条数据，在类上使用这个标签，可以只扫描这一块区域，当然，类里面如果再次使用这个注解则也是在当前区域选择，如果想要在整个页面选择，需要设置source=RawHtml。当解无法满足要求时，重写这个类的方法，完成操作，这个方法会在抽取结束，字段都初始化完毕之后执行。类，提供了特殊的创建方法，其他的方法是类似的。
WebMagic爬虫入门教程（一）简介
热门推荐
大漠帝国的博客
10-30 1万+
（一）前言 工作学习中，需要进行爬虫。百度百科上说，网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 网络爬虫，我是这样理解的，简单说，就是下载web网页上的html代码中的信息。 那么到底用什么语言...
Cadence学习笔记1-原理图.pdf
11-16
Cadence学习笔记1-原理图.pdf
Arduino学习笔记A4-Arduino软件模拟PWM以及提高软PWM效率.pdf
11-17
Arduino学习笔记A4-Arduino软件模拟PWM以及提高软PWM效率.pdf
Istio服务网格实践指南学习笔记-Istio架构
02-24
本文来自于csdn，文章主要介绍了如何学习Istio架构，讲述了Istio核心功能，架构及设计目标。这幅图中描述了以下内容：1.Istio可以在虚拟机和容器中运行2.Istio的组成Pilot：服务发现、流量管理Mixer：访问控制、遥测...
JSP学习笔记-2.pdf
11-28
JSP学习笔记-2.pdf
WebMagic入门案例
xiao-啸
10-04 457
WebMagic总体架构图如下: 项目结构图 配置文件 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/P
webmagic中文教程（在线教程word版）
01-12
java爬虫webmagic的word版教程最新版（2016-1-12），来自其中文网站：http://webmagic.io/docs/zh
spider:利用spring boot + webmagic开发的java爬虫系统
03-11
蜘蛛 一。简介 通过spring boot建造的爬虫系统 二。技术选型 spring boot：构建项目框架，比较Swift，集成嵌入式tomcat，部署运行方便，零配置代码简洁 elasticSearch：作为nosql数据存储引擎 elastic-job：分布式作业调度系统，依赖zookeeper环境作为分布式协同 WebMagic：爬虫框架，有去重功能，支持Xpath，regex，css等选择器 三。运行方式 先启动zookeeper和elasticsearch ，并修改相应配置，然后按下面任意方式启动项目 方式一：执行命令mvn spring-boot:run立即启动 方式二：maven打成jar包后，将使用命令java -jar spider-1.0.0-SNAPSHOT.war &启动spider-1.0.0-SNAPSHOT.war 方式三：部署在tomcat中直接运行 四。
网络爬虫——WebMagic的使用
吴声子夜歌的博客
07-26 1498
WebMagic 是一个非常优秀的 Java 开源网络爬虫框架，其功能覆盖了网络爬虫的 整个生命周期，包括 URL 提取、网页内容下载、网页内容解析和数据存储。WebMagic 项目的源码可以在 GitHub 上进行下载。WebMagic 具有很好的灵活性和可扩展性，支持多线程数据采集和 URL 去重等。在实际应用中，用户可以通过定制 Pipeline 的方式实现其他数据存储需求，如将 数据存储到文本文件、Excel 中等。下面示例为定制的 Pipeline，其作用是将所采集的数据存储 到一个文件中。
webmagic三：爬取网站csdn（小试牛刀）
最新发布
qq_28827185的博客
01-09 955
webmagic爬取csdn
webmagic 原理与典型应用场景分析实现
mychinasty的博客
01-16 582
  1. webmagic抓取URL原理  url形式多样，一个网页里包含的url 简单列举为以下情形： 1）绝对链接url, 形如https://i.csdn.net/#/uc/profile，返回为html网页。 2）相对url,如 " /etc/info/index.jsp ", 其完整网址需要和当前页面地址拼凑而来 3）动态js/ajax请求，如http://48.98.121....
webmagic使用手册
weixin_34233679的博客
12-01 383
2019独角兽企业重金招聘Python工程师标准>>> ...
webmagic入门demo
涛声e依旧的博客
05-05 524
文章目录WebMagic框架简介入门demo运行结果 WebMagic框架简介 WebMagic框架包含四个组件，PageProcessor、Scheduler、Downloader和Pipeline。 这四大组件对应爬虫生命周期中的处理、管理、下载和持久化等功能。 这四个组件都是Spider中的属性，爬虫框架通过Spider启动和管理。 WebMagic总体架构图如下： 四大组件 Page...
网络爬虫——WebMagic详解(二)
吴声子夜歌的博客
07-25 928
这里我们使用的是正则表达式来规定URL范围。可能细心的朋友，会知道.是正则表达式的保留字符，那么这里是不是写错了呢？其实是这里为了方便，WebMagic自己定制的适合URL的正则表达式，主要由两点改动：将URL中常用的字符.默认做了转义，变成了.将"“替换成了”."，直接使用可表示通配符。例如，https://github.com/*在这里是一个合法的表达式，它表示https://github.com/下的所有URL。
Linux驱动与G-Sensor学习笔记
"这篇文档是关于Linux驱动程序开发和g-sensor（加速度传感器）学习的心得体会，主要涵盖了从驱动注册到输入子系统、HAL层开发以及bma250传感器的功能描述和驱动开发步骤等内容。" 在Linux驱动开发中，`module_init`...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值