通用爬虫思路总结

最新推荐文章于 2024-04-06 23:19:59 发布
最新推荐文章于 2024-04-06 23:19:59 发布
阅读量407 收藏 2
点赞数 1
分类专栏： 网络爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011318077/article/details/107550906
版权
本文总结了通用爬虫的基本思路，包括准备URL、发送请求并获取响应、数据提取及保存。在准备URL阶段，考虑了URL规律和页码处理。发送请求时，通过User-Agent和IP代理池应对反爬策略。提取数据时，针对列表页和详情页的数据位置，使用XPath和正则表达式等方法。最后，数据将被保存为txt、json或csv格式，或者存入数据库。
摘要由CSDN通过智能技术生成

通用爬虫思路

1. 通用爬虫思路

1. 准备URL

  • 准备start_url
    • url地址规律不明显，总数不确定
    • 通过代码查找下一页url
      • xpath定位
      • 不明显，寻找url地址，部分参数可能放在当前的响应中（比如当前页码数和总页码数会在当前响应中）
  • 准备url_list
    • 页码总数明确
    • url地址规律明显

2. 发送请求，获取响应

  • 添加随机的User-Agent，反反爬虫
  • 添加随机代理的IP，建立ip代理池，反反爬虫
  • 在对方判断我们是爬虫后，应该添加更多的headers字段，包括cookie
    • cookie的处理可以使用session模块解决
    • 准备一堆可以使用的cookie，组成cookie池
      • 如果不登录
        • 准备刚开始可以成功请求网址的cookie，即接收对方网址设置在response中的cookie
        • 下一次请求的时候，使用之前的cookie来请求
      • 如果要登录
        • 准备多个账号
        • 使用程序获取每个账号的cookie
        • 之后请求登录之后才能访问的网址随机使用已有的cookie

3. 提取数据

  • 确定数据的位置
    • 如
最低0.47元/天 解锁文章
自主研发的一个java版本的分布式的通用爬虫
08-08
自主研发的一个java版本的分布式的通用爬虫，可以热插拔各个组件（提供默认的），自动切换代理，自动结构化数据与存储。使用redis，分布式调度等技术。
Scrapy框架实战（五）：通用爬虫 CrawlSpider
Amo Xiang的博客
12-23 1445
目录1. CrawlSpider2. Item Loader3. 基本使用 前面几个小节已经讲解的爬虫都是抓取一个或几个页面，然后分析页面中的内容，这种爬虫可以称为专用爬虫，通常是用来抓取特定页面中感兴趣的内容，例如，某个城市的天气预报信息，或特定商品的信息等。除了专用爬虫外，还有一类爬虫应用非常广泛，这就是通用爬虫。这种爬虫需要抓取的页面数据量通常非常大。例如，像 Google、百度这样的搜索引擎就是使用这种通用爬虫抓取了整个互联网的数据，然后经过复杂的处理，最终将处理过的数据保存到分布式数据库中，通过搜
通用爬虫编写思路
Vision's blog
03-16 1560
通用爬虫编写思路 Web爬虫需要解决的问题： 一、是否为公开网站/站点？（=是否需要登录？） 不需要登录是如何标记各个用户的：1、session 2、cookies 3、IP地址。 登录的目的是什么？（=是否一定需要登录？=是否每次都需要登录？） 每次都要登录、如何登录（=验证码） 二、页面是如何加载的？（=动态加载问题） 所需的数据在什么地方可以找到：1、html内 2、json...
爬虫 --通用篇
auo8191的博客
04-30 241
概述 爬虫是合法的吗? 是的,它是一个计算机的学科!一个工具 什么是爬虫? 通过编写程序,模拟浏览器上网,然后让其去互联网上爬取/获取数据的过程.爬虫爬取的也就是服务端的响应数据 爬虫使用场景的分类 - 通用爬虫 : 爬取一整张页面数据."抓取系统" - 聚焦爬虫 : 爬取页面中指定的内容,建立在通用爬虫的基础上,爬到数据后,进行局部数据解析筛选 - 增量式爬虫 : 用来...
普通爬虫有啥意思，我写了个通用Scrapy爬虫
Kuls
08-31 760
大家好，我是Kuls。今天是来自读者剑南的投稿。除了钱，大家还比较喜欢什么？当然是全能、万能和通用的人或事物啦，例如：全能、什么都会的员工、万能钥匙、通用爬虫等等。今天我们学习Scrapy...
通用爬虫
daiyu__zz的博客
08-17 1050
通用爬虫CrawlSpider： CrawlSpider是Scrapy提供的一个通用Spider。在spider里，我们可以指定一些爬取规则来实现页面的提取，这些爬取的规则由一个专门的数据结构Rule表示。Rule里包含提取和根进页面的配置，Spider会根据Rule来确定当前页面的哪些链接需要爬取、哪些页面的爬取结果需要用那些方法解析等 CrawlSpider继承自Spider类，除了Spi...
用面向对象写一个通用爬虫模板
弓夫散人的博客
03-17 697
面向对象的爬虫模板前言初衷实现先来一个最简单的爬虫类给简单的类加点参数重试的方法异常处理加上保存数据,完整的单线程爬虫提速爬取总结 前言 本文内容及代码仅供交流学习使用,如有不足之处,请多指点,如有用于恶意攻击网站等违法行为,请自行负责. 初衷 学习python爬虫有一段时间了.经常会想如果我有那么一个标准的轻量化模板,对于简单的网页,只要输入网址,我就可以得到网页源码.省那么一点点导库,设参,把主要精力放在解析提取数据上面,要是能把重试,错误日志,提高爬取速率等等也加上去,像scrapy一样用注释预设好,
网络爬虫技术总结
07-20 5284
网络爬虫技术总结 http://mp.weixin.qq.com/s?__biz=MzI3MTI2NzkxMA==&mid=2247484132&idx=1&sn=8db587fabc3c630decf0419b6130770e&scene=23&srcid=0720ZByjAlOM9YC5c76N9uKU#rd 　　对于大数据行业，数据的价值...
【Python实用技能】爬虫升级之路：从专用爬虫到用AI Agent实现通用网络爬虫（适合小白）
同学小张的博客
03-18 3726
本文我们盘点了目前为止我使用过的所有爬虫代码，分析了它们的实现方法。从专用爬虫，到大模型直接提取指定信息的通用爬虫探索，再到最终的利用 AI Agent 实现通用爬虫，逐步递进，总能让你收获点东西。
简单爬虫的通用步骤
热门推荐
ZKeeer的专栏
09-06 2万+
本文首发：ZKeeer's Blog——简单爬虫的通用步骤 从写一个简单的爬虫开始，一步步介绍爬虫的基本知识，后面内容涉及多线程，多进程，分布式爬虫等内容，比较偏向科普；还涉及到爬虫，反爬虫，反反爬虫的常见方式。设计动态内容，验证码，cookie，登录等等。火狐浏览器开发者工具的基本使用。
【爬虫1】——通用爬虫
weixin_63681863的博客
07-09 1273
协议网站：robots.txt。
通用爬虫（搜索网站爬虫）
qq_37634812的博客
10-11 6405
1.通用爬虫：搜索引擎用的爬虫系统。 -1目标：就是尽可能把互联网上所有的网页下载下来，放到本地服务器里形成备份，         再对这些网页做相关处理（提取关键字、去掉广告），最后提供一个用户检索接口。 -2抓取流程：     a) 首选选取一部分已有的URL，把这些URL放到待爬取队列。     b) 从队列里取出这些URL，然后解析DNS得到主机IP，然后去这个I
通用爬虫-CrawlSpider
Lfeng_yan的博客
10-13 209
CrawlSpiderCrawlSpider`Rule对象 CrawlSpider` Rule对象 *CrawlSpider中最常用也是最重要的就是riles属性。rules是一个或一组R略对象，必须写成tuple形式。 每一个Rule对象定义了对目标网站的爬取行为，如果有多个Rule对象匹配同一个链接，就说明第一个Rule生效。* class scrapy.spiders.Rule( link_extractor,callback=None,cb_kwargs=None, follow=None,p
零、爬虫基础（通用爬虫）
阳阳的博客
06-18 6836
一、response响应参数 1、response六个参数 response.read().decode().encode() # decode()解码 encode()编码 response.readline()#读取一行 response.readlines()# 读取所有，是二进制 response.geturl()#请求的路由 response.getheaders()#获取响应头 response.getcode()#200 响应状态码 2、代码实现 import urllib.request
通用爬虫和聚焦爬虫
z_ipython的博客
08-20 1528
根据使用场景，网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种。 一、通用爬虫 通用网络爬虫是捜索引擎抓取系统（Baidu、Google、Yahoo 等）的重要组成部分。主 要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。 二、通用搜索引擎（Search Engine）工作原理 通用网络爬虫 从互联网中搜集网页，采集信息，这些网页信息用于为搜索引擎建立索 引从而提供支持，它决定着...
Python爬虫编程思想（161）：Scrapy中的通用爬虫
一个被知识诅咒的人
08-14 1029
我们已经讲解的爬虫都是抓取一个或几个页面，然后分析页面中的内容，这种爬虫可以称为专用爬虫，通常是用来抓取特定页面中感兴趣的内容，例如，某个城市的天气预报信息，或特定商品的信息等。除了专业爬虫外，还有一类爬虫应用非常广泛，这就是通用爬虫。...
通用爬虫的概念简述
最新发布
weixin_74994771的博客
04-06 2447
通用爬虫（General Purpose Web Crawler或Scalable Web Crawler）是一种网络爬虫，其设计目标是对整个互联网或尽可能广泛的网络空间进行数据抓取。通用爬虫主要用于搜索引擎构建其庞大的网页索引数据库，从互联网中自动爬取、下载网页内容，形成网页的海量集合，以便后续对这些数据进行索引、存储和搜索。 通用网络爬虫是搜索引擎抓取系统（Baidu、Google、Yahoo等)重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。通用搜索引擎（Search
python爬虫之通用爬虫和聚焦爬虫
weixin_42384444的博客
09-04 2443
python爬虫之通用爬虫和聚焦爬虫1. 通用爬虫1.1 定义1.2 抓取流程：1.3 搜索引擎如何获取一个新网站的url:1.4 Robots协议1.5 通用爬虫工作流程2 聚焦爬虫2.1 出现的必然2.2 定义 爬虫根据使用场景分为通用爬虫和聚焦爬虫。 1. 通用爬虫 1.1 定义 搜索引擎的爬虫系统；把互联网的网页下载来，放在本地服务器，形成备份，再对这些数据进行处理，提取关键字去广告的，并向用户提供接口。(比如百度快照，百度快照不能爬取文字类相关内容，不能爬取图片)。 1.2 抓取流程： 选取已有的
爬虫技术基础与应用场景详解
1. 通用型爬虫：这类爬虫主要针对搜索引擎，其目的是对整个互联网进行索引，以支持用户进行关键词搜索。 2. 聚焦爬虫：这类爬虫会根据特定的主题或网站结构，有针对性地抓取相关数据。例如，针对新闻网站、论坛或者...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值