WebMagic爬取论坛链接实现流程分析

最新推荐文章于 2024-04-24 15:45:08 发布
最新推荐文章于 2024-04-24 15:45:08 发布
阅读量2k 收藏
点赞数
文章标签： webmagic 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jutal_ljt/article/details/53506183
版权

整体爬取论坛页面流程图：

Created with Raphaël 2.1.0 开始 输入关键字 得到关键字搜索页面 是否是应用页面 登陆,否则无法获得posttime 下载该页面,并获得tid和posttime 使用tid和posttime回复该页面 再次下载该页面并爬取apk下载链接 结束 yes no

SpiderTrigger调用Spider工作流程分析：

Created with Raphaël 2.1.0 开始 Sipder.setDownloader() Sipder.addUrl() addUrl()中调用addRequest(new Request(url)),以及signalNewUrl() Spider.thread(20),启动20个线程 run()

Spider工作流程分析：

Created with Raphaël 2.1.0 Spider.run() checkRunningStat()检测怕成是否在运行 initComponent() start 判断downloader是否存在,若为空则使用默认的HttpClientDownloader downloader.setThread(int thread) setThread()调用httpClientGenerator.setPoolSize(thread) 根据thread数目建立threadPool initComponent() End toDoQueue中取到一个request request是否为空 即toDoQueue为空 threadPool中是否是否 还有存活的thread break() waitNewUrl() 将request赋值给final量requestFinal threadPool启动线程 调用processRequest() request是否需要重试 rmRetryRequestFromQueue(page) extractAndAddRequests(page, true); sleep(site.getSleepTime()) apk=pageProcessor.process(page) extractAndAddRequests(page, spawnUrl) yes no yes no yes no

SpiderTirgger Spider 与MyhttpClientDownloader交互的顺序图如下：

Created with Raphaël 2.1.0 SpiderTrigger SpiderTrigger Spider Spider MyHttpClientDownloader MyHttpClientDownloader PageProcessor PageProcessor setDownloader() addUrl() thread(20) 启动20个Spider线程进行爬取 run() 开始执行线程 checkRunningStat() 检测爬虫是否在运行 initComponent() 检查或初始化downloader线程池等Component processRequest() 启动子线程调用processRequest()方法 downloader.download(request, Spider) ProcessRequest()调用downloader的download方法,此处为GET请求 下载,得到page return page rquest重试 如果request需要重试，首先应该从donePushQueue中移除 移除的元素就是队列头部的元素 sleep() process(page) 获得Apk 返回Apk

Downloader中的download(),下载page的流程图如下：

Created with Raphaël 2.1.0 downloader.download()开始 site=task.getSite()其中Site()是在 创建Spider对象时PagePro给的 以下使用httpClient进行页面的下载 getHttpUriRequest()获得HttpUriRequest -getHttpUriRequest()开始 调用selectRequestMethod()获得requestBuilder --selectRequestMethod()开始 String method = request.getMethod() 得到请求方式，若null则默认get 设置请求方式，并返回对应的requestBuilder --selectRequestMethod()结束 设置header 配置requestConfigBuilder 包括代理、超时等 将requestConfigBuilder传给requestBuilder -getHttpUriRequest()结束 得到httpUriReauest，设置请求头等并执行 得到httpResponse 成功,通过handleResponse()得到page 返回page
闹屋
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
springboot 集成webmagic实现网页数据爬取功能
05-10
springboot 集成webmagic实现网页数据爬取功能 内含项目demo工程 直接导入可使用
使用java+WebMagic实现电影资源链接爬取
Unitue_逆流
04-28 2601
1、首先百度搜索webmagic网站，网址如下：https://github.com/code4craft/webmagic/releases/tag/WebMagic-0.7.3 2、接下来下载webmagic-0.7.3-all.tar.gz 压缩包解压 3、创建一个项目，在项目中创建一个lib文件夹，将WebMagic中的jar包复制到lib文件夹里面，选取所有的jar包（按下shift...
利用WebMagic爬豆瓣电影数据（注解版本）
robinson_911的专栏
01-29 450
WebMagic爬数据（注解版本）官方资料：http://webmagic.io/docs/zh/posts/ch5-annotation/ 继上一篇爬虫文章后，再用注解版来抓取点数据。 一.目标页面（https://www.douban.com/doulist/3907668） 爬取豆瓣电影数据（电影名字，评分，导演信息，电影信息）界面如下图： 二. 注解版本源码分析 现在只爬取单个页面的电影数据，这里写死这个页面@TargetUrl(value = "(https://www.douban
java 爬取评论,Java基于WebMagic爬取某豆瓣电影评论的实现
weixin_36225637的博客
03-11 689
目的搭建爬虫平台，爬取某豆瓣电影的评论信息。准备webmagic是一个开源的Java垂直爬虫框架，目标是简化爬虫的开发流程，让开发者专注于逻辑功能的开发。webmagic的核心非常简单，但是覆盖爬虫的整个流程，也是很好的学习爬虫开发的材料。下载WebMagic源码，或Maven导入，或Jar包方式导入。 码云地址：https://gitee.com/flashsword20/webmagic试运...
webmagic是个神奇的爬虫（二）-- webmagic爬取流程细讲
不了痕的博客
03-12 2万+
webmagic流程图镇楼： 第一篇笔记讲到了如何创建webmagic项目，这一讲来说一说webmagic爬取的主要流程。 webmagic主要由Downloader（下载器）、PageProcesser（解析器）、Schedule（调度器）和Pipeline（管道）四部分组成。 从流程图上可以看出，webmagic爬取信息首先需要依赖给出的一个初始爬取的地址，下载器会下
WebMagic爬取网站内容
紫藤萝瀑布的博客
11-29 4484
WebMagic爬取网站内容一、WebMagic介绍          WebMagic是一个开源的Java爬虫框架，目标是简化爬虫的开发流程让开发者专注于逻辑功能的开发          WebMagic采用完全模块化的设计，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持自动重试、自定义UA/cookie等功能。1.1、原理介绍
webmagic爬取数据
04-22
java程序webmagic爬取京东商品、百度资讯代码
Webmagic爬取数据导入到ES
09-06
Webmagic爬取数据导入到数据库与Elasticsearch5,详细介绍请参考:http://blog.csdn.net/u011781521/article/details/77866642
webmagic爬取downloademail附源码
04-09
网络爬虫的小实验程序，就是获取https://www.downloademail.info的email地址。
java爬虫webmagic抓取静态页面demo
05-16
学习使用webmagic 进行静态页面抓取，springboot + webmagic demo项目，进行学习使用 。java 使用webmagic爬取网页数据
webMagic爬虫抓取某个博客全部文章名称
09-05
webMagic爬虫抓取某个博客全部文章名称,简单列子,可以做参考
Webmagic Spider简单框架流程图
12-06
原文链接：http://blog.csdn.net/yasukusury/article/details/78735589
WebMagic爬虫框架获取a标签的href属性
qq_35214121的博客
01-14 3202
public class WebMagicUtil implements PageProcessor{ private Site site = Site.me().setRetryTimes(3).setSleepTime(1000).setTimeOut(10000); public void process(Page page) { //爬取id为chapter-lis...
Webmagic源码分析之运行流程
麒麟木木
10-05 5465
Webmagic是Java中的一个爬虫开源框架，主要有四大核心组件，分别是：Downloader、PageProcessor、Scheduler、Pipeline，并有Spider进行管理。这四个组件分别对应了爬虫生命周期中的下载、处理、管理、持久化。同时还支持XPath、Jsoup、CSS选择器，方便我们对抓取的页面进行解析。
web magic 爬取京东 一个爬虫实现
代码天空的博客
09-13 4474
改了下京东爬取例子 ， 我喜欢一个爬虫的风格 看了很多什么责任链实现，但是我没有这么做，而是选择同个 用if else 来判断url 并爬取内容保存到static map 里面 最后就能入库了 jsonPath 语法 非常方便 原来写jsonObject的解析方法很慢 package com.cn.hanbo.spider; import java.util.ArrayList; import
WebMagic-使用入门
热门推荐
一个有趣、有料、有内涵的地方!
12-15 3万+
原文出自：http://webmagic.io/docs/zh 访问经常出错，于是把文档转到自己博客里 1基本的爬虫 在WebMagic里，实现一个基本的爬虫只需要编写一个类，实现PageProcessor接口即可。这个类基本上包含了抓取一个网站，你需要写的所有代码。 同时这部分还会介绍如何使用WebMagic的抽取API，以及最常见的抓取结果保存的问题。 1.1 实现PagePr
Scrapy
最新发布
m0_58310590的博客
04-24 413
Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理，
Python网络爬虫之数美滑块的加密及轨迹分析
这家伙很懒，什么都没有留下
04-23 1179
数美滑块验证是一种基于行为生物识别技术的验证码，它通过分析用户的拖动轨迹、速度、加速度等参数来判断操作的真实性。与传统的字符验证码相比，数美滑块验证具有更高的安全性和用户体验。它采用了多种加密手段，使得传统的爬虫技术难以突破。在数美滑块验证中，关键参数如滑块ID、背景图片URL、验证接口等通常经过混淆和加密处理。这些参数在前端JS代码中动态生成，使得直接分析静态页面难以获取有效信息。此外，数美滑块验证还采用了JS代码动态执行的方式，即在运行时根据特定条件生成或修改代码，进一步增强了安全性。
java webmagic 爬取图片
03-10
Java WebMagic是一个开源的Java爬虫框架，可以用于爬取网页数据，包括图片。它提供了简单易用的API，可以方便地定义爬取规则和处理爬取结果。 要使用Java WebMagic进行图片爬取，首先需要添加WebMagic的依赖到你的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值