对webmagic的一个example进行Debug——框架执行流程

最新推荐文章于 2024-01-21 19:46:05 发布
最新推荐文章于 2024-01-21 19:46:05 发布
阅读量658 收藏
点赞数
分类专栏： 个人学习笔记 文章标签： 爬虫 调试 webmagic
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yasukusury/article/details/78735589
版权

笔者前言

由于业务需求，突然需要在Spring上支持爬虫业务，于是上头选择了这个较为轻量级的框架。
其实笔者在收到爬虫任务时，要求自己空手从零制作一个爬虫，用上了Jsoup作为解析包。早期单单使用Jsoup做小爬虫是能满足的，但随着中期面对规模，小爬虫的效率是不够的，然后就需要借助框架。
而框架是要先进行了解，再进行使用的！！！

webmagic小概

官文

http://webmagic.io/docs/zh/posts/ch1-overview/

一个example的流程

对webmagic有小小了解之后，就会知道它是由4个核心组件驱动的
官文图片
详细流程：http://download.csdn.net/download/yasukusury/10148708

yasukusury
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
[源码学习][知了开发]WebMagic-总体流程源码分析
WSRspirit的专栏
07-18 5569
写在前面前一段时间开发【知了】用到了很多技术（可以看我前面的博文http://blog.csdn.net/wsrspirit/article/details/51751568），这段时间抽空把这些整理一下，WebMagic是一个Java的爬虫，中国人写的，代码很模块化，也很利于二次开发，但是我们在使用的过程中也遇到了一些问题，这些问题我会在最后的博客中介绍，最近的博客将详细的走一下WebMagic的
Webmagic源码分析之运行流程
麒麟木木
10-05 5480
Webmagic是Java中的一个爬虫开源框架，主要有四大核心组件，分别是：Downloader、PageProcessor、Scheduler、Pipeline，并有Spider进行管理。这四个组件分别对应了爬虫生命周期中的下载、处理、管理、持久化。同时还支持XPath、Jsoup、CSS选择器，方便我们对抓取的页面进行解析。
Webmagic Spider简单框架流程图
12-06
原文链接：http://blog.csdn.net/yasukusury/article/details/78735589
webmagic中文教程（在线教程word版）
01-12
java爬虫webmagic的word版教程最新版（2016-1-12），来自其中文网站：http://webmagic.io/docs/zh
WebMagic的学习（一）——基本介绍
有问题请发邮箱dengyifanlittle@163.com进行讨论
12-26 1767
一、总体架构 WebMagic总体架构分为四个组件：Downloader、PageProcessor、Scheduler、Pipeline，由Spider将它们组织起来。对应爬虫的生命周期中的下载、处理、管理和持久化等功能。 二、四个组件的介绍 ①Downloader Downloader负责从互联网上下载页面，以便后续处理。WebMagic默认使用Apache HttpClient作为下...
selenium-example:一个使用Selenium框架进行演示的示例项目
05-22
这个名为“selenium-example”的项目，是一个基于Selenium框架的示例项目，用于展示如何有效地利用Selenium进行Web自动化测试。下面我们将深入探讨Selenium的基本概念、核心功能以及如何在Java环境中设置和运行测试...
WebMagic是一个简单灵活的Java爬虫框架
08-08
WebMagic是一个专为Java开发者设计的轻量级网络爬虫框架，它的主要目标是简化爬虫的开发过程，使得开发者可以更加专注于数据抓取和处理的逻辑，而无需关心底层的实现细节。这个框架的灵活性使得它适用于各种规模的...
爬虫框架，WebMagic，依赖包下载
06-08
WebMagic是一个开源的Java爬虫框架，专为高效、易用和可扩展性而设计。在深入了解WebMagic之前，我们先来谈谈爬虫的基本概念。爬虫，也称为网络爬虫或网页蜘蛛，是一种自动抓取互联网信息的程序。它们通过模拟用户...
webmagic 是一个无须配置、便于二次开发的爬虫框架
10-12
Webmagic是一个强大的Java爬虫框架，其核心特性在于它的无配置性和高度可扩展性，这使得开发者能够快速地构建自己的网络爬虫项目。Webmagic的设计理念是简化爬虫开发过程，让开发者可以专注于数据抓取和处理，而不...
CucumberFrameworkExample:这只是一个基本的Cucumber Example框架
03-14
这只是一个基本的示例框架，该框架使用JUnit，带有Cucumber的Selenium打开浏览器，加载wixsite URL，声明标题并退出浏览器。 创建您自己的Cucumber框架的步骤 1个在Intellij中创建一个新项目：（或另一个IDE） 文件>...
springBoot+webMagic实现网站爬虫的实例代码
08-19
主要介绍了springBoot+webMagic实现网站爬虫的实例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
爬虫基于Springboot+WebMagic+Mybatis+多数据源
11-30
闲来无事最近写了一个全新的爬虫框架WebMagic整合springboot的爬虫程序，不清楚WebMagic的童鞋可以先查看官网了解什么是Webmagic，顺便说说用springboot时遇到的一些坑
基于Webmagic框架的爬虫小Demo
little_skeleton的博客
07-11 2272
基于Webmagic框架的爬虫小Demo
08. Springboot集成webmagic实现网页爬虫
最新发布
有一只柴犬的专栏
01-21 4622
在信息化的时代，网络爬虫已经成为我们获取和处理大规模网络数据的重要工具。如果将现有网络上的海量数据使用爬虫工具将数据爬取保存下来，并进行分析，就可以挖掘出一些潜在的价值。而现在市面上也出现了很多爬虫工具以及爬虫框架，今天将介绍下Java体系下一款简单使用的爬虫框架WebMagic，并可以很简单的与Springboot进行集成。
springboot添加webmagic_爬虫框架webmagic与spring boot的结合使用--转
weixin_39857899的博客
12-24 306
1. 爬虫框架webmagicWebMagic是一个简单灵活的爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。1.1 官网地址官网文档写的比较清楚，建议大家直接阅读官方文档，也可以阅读下面的内容。地址如下：2. webmagic与spring boot框架集成spring boot与webmagic的结合主要有三个模块，分别为爬取模块Processor,入库模块Pipeli...
爬虫简单Demo
weixin_30808253的博客
08-09 452
WebMagic介绍 WebMagic项目代码分为核心和扩展两部分。核心部分(webmagic-core)是一个精简的、模块化的爬虫实现，而扩展部分则包括一些便利的、实用性的功能。 WebMagic的设计目标是尽量的模块化，并体现爬虫的功能特点。这部分提供非常简单、灵活的API，在基本不改变开发模式的情况下，编写一个爬虫。 扩展部分(webmagic-extension)提供一...
springBoot接入webMagic实现页面上控制断点启动
zjz_i的博客
01-26 618
参考文档地址 webmagic中文文档:http://webmagic.io/docs/zh/ 一：引入依赖 pom.xml中添加             <properties>        <webmagic.version>0.7.3</webmagic.version>     </properties> ...
手摸手学会使用webmagic爬虫框架
weixin_46684099的博客
11-22 2129
什么是webmagic webmagic是一个开源的Java垂直爬虫框架，目标是简化爬虫的开发流程，让开发者专注于逻辑功能的开发。webmagic的核心非常简单，但是覆盖爬虫的整个流程，也是很好的学习爬虫开发的材料。 webmagic的主要特色： 完全模块化的设计，强大的可扩展性。 核心简单但是涵盖爬虫的全部流程，灵活而强大，也是学习爬虫入门的好材料。 提供丰富的抽取页面API。 无配置，但是可通过POJO+注解形式实现一个爬虫。 支持多线程。 支持分布式。 支持爬取js动态渲染的页面。 无框架依赖，可以
使用Selenium框架编写测试脚本，对一个示例网站进行自动化测试的结果分析
05-24
使用Selenium框架编写测试脚本，可以对一个示例网站进行自动化测试。自动化测试的结果分析可以帮助我们了解网站的稳定性、功能是否正常、性能等方面的问题。 下面是一个简单的示例，对一个登录页面进行测试： ```python from selenium import webdriver # 创建Chrome浏览器驱动 driver = webdriver.Chrome() # 打开登录页面 driver.get("http://example.com/login") # 输入用户名和密码 username = driver.find_element_by_name("username") password = driver.find_element_by_name("password") username.send_keys("testuser") password.send_keys("testpass") # 点击登录按钮 login_button = driver.find_element_by_css_selector("button[type='submit']") login_button.click() # 检查登录后的页面是否正确 assert driver.current_url == "http://example.com/home" # 关闭浏览器窗口 driver.quit() ``` 上述代码通过打开示例网站的登录页面，输入用户名和密码，然后点击登录按钮完成登录操作。接着，检查登录后的页面是否正确，并关闭浏览器窗口。 在测试过程中，可以结合使用断言和日志来记录测试结果。如果测试失败，可以根据日志来定位问题所在。同时，我们还可以使用Selenium提供的一些工具来分析测试结果，例如HTMLTestRunner等，以便更好地展示测试结果和统计测试数据。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值