【大纲】网络爬虫前瞻

已于 2024-04-26 18:00:05 修改
阅读量2.4k 收藏 33
点赞数 18
分类专栏： 爬虫 文章标签： 网络爬虫 爬虫
于 2024-04-26 17:49:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_48180611/article/details/137928401
版权

 一、robots协议

robots.txt协议是一种互联网标准，全称为“网络爬虫排除标准”（Robots Exclusion Protocol），是网站管理员与网络爬虫（包括搜索引擎爬虫和其他自动抓取网页内容的软件）之间的一种通信方式。这个协议通过一个名为robots.txt的文本文件实现，该文件存放在网站的根目录下，对任何互联网用户都是公开可见的。

1.robots.txt文件的功能和结构：

(1) 功能：

  • robots.txt文件主要用来指定搜索引擎或其他爬虫在访问网站时哪些内容可以抓取，哪些内容不应该抓取。
  • 管理员可以限制爬虫对某些敏感或者私密信息、后台管理界面、重复内容、测试页面、登录页面等的访问，从而保护网站的部分或全部内容不被索引和展示在搜索引擎的结果中。
  • 同时，robots.txt也可以用来指明网站的网站地图（Sitemap）位置，方便搜索引擎快速发现和抓取网站的重要更新内容。

(2) 结构和语法：

  • robots.txt文件由一系列指令组成，每一条指令针对一组特定的爬虫或所有爬虫。

指令的基本格式如下：

User-agent: [爬虫名称]
Disallow: [不允许访问的URL路径]
Allow: [允许访问的URL路径]
  • User-agent: 定义这一行规则适用的爬虫。如果写的是*，则表示适用于所有爬虫。
  • Disallow: 设置不允许访问的相对URL路径。比如，Disallow: /private/意味着爬虫不应访问www.example.com/private/及其子目录下的任何页面。
  • Allow: （可选）明确指出某个之前被Disallow过的URL路径下的部分资源是可以被访问的。不过，由于并非所有爬虫都支持Allow指令，所以实践中更多是通过取消Disallow限制来达到允许访问的目的。

注意：robots.txt文件不提供密码保护或加密功能，只是起到君子协定的作用，恶意爬虫可能会无视这个文件的规定。

示例：

User-agent: *
Disallow: /admin/
Disallow: /private/

Sitemap: http://www.example.com/sitemap.xml

在这个例子中，所有爬虫都被要求不要抓取位于/admin/和/private/路径下的任何内容，并且通过Sitemap指令告知爬虫网站地图的位置。

最后，尽管大多数知名的搜索引擎都会遵循robots.txt的规则，但它并不是强制性的法律约束，也就是说，爬虫开发者可以选择是否遵循这些指导原则。此外，robots.txt并不提供安全性，不能阻止未经授权的访问，若要保护敏感数据，必须采取更高级别的安全措施。

2. 如何找到一个网站的robots.txt

要找到一个网站的robots.txt文件，可以通过在该网站的根目录下添加/robots.txt路径来查看。具体步骤如下：

通过这种方法，您可以轻松地查看任何网站的robots.txt文件，了解网站所有者对搜索引擎爬虫的访问规则。请注意，robots.txt文件中的内容可能会有所不同，具体规则取决于网站所有者的设置。

例如：百度的网站为：http://www.baidu.com，在后面加上/robots.txt（baidu.com/robots.txt）就可以看到如下信息：

User-agent: Baiduspider
Disallow: /baidu
Disallow: /s?
Disallow: /ulink?
Disallow: /link?
Disallow: /home/news/data/
Disallow: /bh

User-agent: Googlebot
Disallow: /baidu
Disallow: /s?
Disallow: /shifen/
Disallow: /homepage/
Disallow: /cpro
Disallow: /ulink?
Disallow: /link?
Disallow: /home/news/data/
Disallow: /bh

User-agent: MSNBot
Disallow: /baidu
Disallow: /s?
Disallow: /shifen/
Disallow: /homepage/
Disallow: /cpro
Disallow: /ulink?
Disallow: /link?
Disallow: /home/news/data/
Disallow: /bh

User-agent: Baiduspider-image
Disallow: /baidu
Disallow: /s?
Disallow: /shifen/
Disallow: /homepage/
Disallow: /cpro
Disallow: /ulink?
Disallow: /link?
Disallow: /home/news/data/
Disallow: /bh

User-agent: YoudaoBot
Disallow: /baidu
Disallow: /s?
Disallow: /shifen/
Disallow: /homepage/
Disallow: /cpro
Disallow: /ulink?
Disallow: /link?
Disallow: /home/news/data/
Disallow: /bh

User-agent: Sogou web spider
Disallow: /baidu
Disallow: /s?
Disallow: /shifen/
Disallow: /homepage/
Disallow: /cpro
Disallow: /ulink?
Disallow: /link?
Disallow: /home/news/data/
Disallow: /bh

User-agent: Sogou inst spider
Disallow: /baidu
Disallow: /s?
Disallow: /shifen/
Disallow: /homepage/
Disallow: /cpro
Disallow: /ulink?
Disallow: /link?
Disallow: /home/news/data/
Disallow: /bh

User-agent: Sogou spider2
Disallow: /baidu
Disallow: /s?
Disallow: /shifen/
Disallow: /homepage/
Disallow: /cpro
Disallow: /ulink?
Disallow: /link?
Disallow: /home/news/data/
Disallow: /bh

User-agent: Sogou blog
Disallow: /baidu
Disallow: /s?
Disallow: /shifen/
Disallow: /homepage/
Disallow: /cpro
Disallow: /ulink?
Disallow: /link?
Disallow: /home/news/data/
Disallow: /bh

User-agent: Sogou News Spider
Disallow: /baidu
Disallow: /s?
Disallow: /shifen/
Disallow: /homepage/
Disallow: /cpro
Disallow: /ulink?
Disallow: /link?
Disallow: /home/news/data/
Disallow: /bh

User-agent: Sogou Orion spider
Disallow: /baidu
Disallow: /s?
Disallow: /shifen/
Disallow: /homepage/
Disallow: /cpro
Disallow: /ulink?
Disallow: /link?
Disallow: /home/news/data/
Disallow: /bh

User-agent: ChinasoSpider
Disallow: /baidu
Disallow: /s?
Disallow: /shifen/
Disallow: /homepage/
Disallow: /cpro
Disallow: /ulink?
Disallow: /link?
Disallow: /home/news/data/
Disallow: /bh

User-agent: Sosospider
Disallow: /baidu
Disallow: /s?
Disallow: /shifen/
Disallow: /homepage/
Disallow: /cpro
Disallow: /ulink?
Disallow: /link?
Disallow: /home/news/data/
Disallow: /bh


User-agent: yisouspider
Disallow: /baidu
Disallow: /s?
Disallow: /shifen/
Disallow: /homepage/
Disallow: /cpro
Disallow: /ulink?
Disallow: /link?
Disallow: /home/news/data/
Disallow: /bh

User-agent: EasouSpider
Disallow: /baidu
Disallow: /s?
Disallow: /shifen/
Disallow: /homepage/
Disallow: /cpro
Disallow: /ulink?
Disallow: /link?
Disallow: /home/news/data/
Disallow: /bh

User-agent: *
Disallow: /

二、渲染规律

网页的渲染涉及到客户端（浏览器）与服务器端的交互，以及JavaScript执行和CSS样式应用等多个步骤。未经渲染的原始HTML代码并不能反映出用户最终看到的页面状态，尤其是对于依赖AJAX异步加载、React/Vue等前端框架动态生成的内容。因此，在进行复杂网页爬取时，可能需要结合Headless Chrome（如Puppeteer）或Selenium等工具模拟浏览器环境执行JavaScript，确保获取完整的渲染后页面数据。

三、选取范围

在开发网络爬虫时，我们需要明确我们要从网页中抽取哪些具体信息。选取范围可能包括但不限于：

  • 文本内容：如新闻文章正文、产品描述、评论内容等。
  • 属性信息：HTML标签的属性值，如链接<a>标签的href属性、图片<img>标签的src属性、表单<input>标签的value属性等。
  • 结构化数据：表格<table>中的单元格数据、列表<ul>/<ol>中的条目、自定义数据属性（如data-*属性）等。
  • CSS类和ID：用于辅助定位重要区块，如文章主体、页眉、页脚等。

针对这些不同的内容，我们可以采用各种解析手段，如正则表达式、BeautifulSoup、lxml等Python库提供的方法，以及XPath或CSS选择器来精准定位和抽取。

四、确定数据来源

  1. API接口获取：很多网站和应用程序提供公开或半公开的API接口，允许程序直接获取已结构化的数据。这种方式具有速度快、稳定性好、数据格式统一等特点，但可能需要认证授权，并遵守API的使用条款。

  2. 网页爬取：

    • 静态网页：只需发送HTTP请求获取HTML页面，然后解析其中的数据。
    • 动态网页：除了获取基础HTML外，还需模拟用户交互行为触发Ajax请求，捕获额外的数据流。
  3. JS逆向：（待补充）

五、获取方式

  1. 接口获取：利用requests、aiohttp等HTTP客户端库发送请求，对接口返回的JSON/XML数据进行解析，并转化为结构化数据。

  2. 自动化框架：

    • Scrapy：强大的Python爬虫框架，提供了请求调度、数据解析、中间件、Item Pipeline等功能，便于构建大型、分布式爬虫项目。
    • Selenium、Puppeteer、Playwright：适用于需要浏览器渲染和模拟用户交互的场景，能够处理复杂的动态加载内容。

六、数据存放方式

  1. 数据库：根据数据类型和规模选择合适的数据库系统进行存储，如MySQL、PostgreSQL、MongoDB等，也可以使用云端数据库服务如AWS RDS、阿里云RDS等。

  2. Excel文件：适合小规模数据导出，可以使用pandas等数据处理库将数据写入Excel文件，便于数据分析和共享。

  3. 其他存储方式：根据需求还可选择CSV、JSON、XML文件存储，或者是NoSQL数据库如Redis、Cassandra等，甚至是大数据存储方案如Hadoop HDFS、Google BigQuery、AWS S3等。

七、反爬

反爬虫是指网站为了阻止爬虫程序对其网页进行数据抓取而采取的一系列技术手段。常见的反爬虫策略包括：

  1. 验证码：要求用户输入验证码才能访问网页，防止自动程序的访问。

  2. IP限制：限制单个IP地址的访问频率，过快的访问会被封禁IP。

  3. User-Agent检测：检测HTTP请求中的User-Agent字段，如果不是常见的浏览器User-Agent，可能会被判定为爬虫程序。

  4. Cookie检测：检测HTTP请求中的Cookie，如果没有合适的Cookie，可能会被判定为爬虫程序。

  5. 动态加载：网页使用JavaScript动态加载数据，爬虫程序无法直接获取到数据。

  6. 数据加密：对数据进行加密处理，需要解密才能获取原始数据。

  7. 频率检测：检测访问频率，如果访问频率过高，可能会被封禁。

应对反爬虫策略的方法包括：

  1. 使用代理IP：通过使用代理IP来隐藏真实IP地址，降低被封禁的风险。

  2. 设置随机User-Agent：在HTTP请求中设置随机的User-Agent，模拟真实浏览器的行为。

  3. 使用验证码识别技术：通过自动识别验证码的技术来应对验证码反爬虫策略。

  4. 降低访问频率：控制爬取数据的频率，避免被封禁。

  5. 解析JavaScript：对网页中的JavaScript代码进行分析，找到数据请求的接口和参数，直接发送请求获取数据。

总的来说，反爬虫是网站为了保护数据安全和防止恶意爬取而采取的一种合理措施，爬虫程序在进行数据抓取时需要遵守网站的规则和使用条款，以避免触发反爬虫策略。

八、《爬虫：从入门到入狱》

  1. 除了提及的User-Agent切换、IP代理轮换、验证码识别等问题，还需要留意网站的robots.txt文件规则，尊重网站设定的爬虫访问策略。有时可能需要设置合理的爬取频率，避免给目标服务器带来过大压力。

  2. 在编写和运行爬虫时务必遵守相关法律法规，不得侵犯个人隐私，不进行未经授权的大规模数据抓取。在必要时应取得数据提供方的书面许可。

  3. 为了防止对目标网站服务器造成过大压力，爬虫应当适当控制请求频率，遵循网站的服务条款，并在必要时申请API权限或获得书面许可。

通知 | 2024 GDE&AI智能应用全球开发者大赛（高校组）
开放知识图谱
10-11 859
大赛介绍：随着低代码、AI等新技术的成熟，数智开发已加速迈入新时代！智能体（Agent），尤其是基于大模型（LLM）的智能体，是人工智能的关键分支，能模拟人类决策，提升工作效率，对社会影响深远。在工业、智慧城市等领域，它优化资源配置，提升生活品质，促进人机协同，推动科技创新与产业升级。智能体技术的发展正引领社会迈向高效智能，为构建智慧社会、实现可持续发展目标提供有力支撑。2024 GDE&...
2022爱分析･人工智能应用实践报告
爱分析ifenxi
02-28 6270
报告编委 特别鸣谢（按拼音排序） 报告摘要 人工智能在产业中落地的20大挑战 自2019年起，人工智能的发展进入与产业加速融合的阶段。经过近几年的发展，人工智能已经广泛渗透进金融、零售、工业、能源、医疗、城市管理等多个行业和领域，并且一些行业头部企业已经全面拥抱了智能化转型。 由于可获取和参考的建设经验有限，加上企业所处行业、发展阶段的不同，自身需求以及拥有的资源禀赋各异等因素，人工智能在产业中落地充满挑战。在本报告中，爱分析基于大量调研和过往研究积累，从战略、数据、场景规划、应用解决方案开发、技术基.
恒驰喜讯 | 出席华为GDE&AskO3开发者大会，荣获“AskO3卓越贡献奖”！
03-11 697
● 旨在共同规划AskO3的未来，让AskO3在使能伙伴的道路上更进一步，通过本次研讨，共同识别开箱即用的高价值应用、探讨平台和模型框架如何更好地支持开发者，明确关键能力与发展方向。受邀出席本次大会，与技术大咖、行业专家、学术领军人物及广大伙伴、高校、华为的优秀开发者们，共同分享行业趋势、AskO3的最新能力、前沿创新案例以及优秀的开发者实践。O3社区是连接华为与伙伴的重要桥梁，通过连接，华为更直接地使能伙伴，伙伴简单、直接、高效作业、装备数智化升级，更好地服务客户。AI如何重塑软件开发和使能高效交付。
星厨齐聚，演绎致美奢厨：2022米兰家具展中的ASKO×NORM展厅
cnmjwz的博客
06-15 357
自然是人类历史长河中永恒的命题，而自然与生活的和谐共生正是一场美与爱的设计思辨——厨房作为生活的一部分，也延续着与自然的对话，而不同品牌对于厨房、自然与爱的理解更有着各自独特的风格。6月7日至12日，ASKO在2022年米兰EuroCucina 家具展上与同源于北欧的建筑品牌Norm Architects 携手合作，完成了一次对自然的完美诠释。怀揣着创造有意义、舒适且美好生活的共同理想，以“Scandinavian Moment”为题，ASKO与NORM为本次米兰家具展构建了发人深思的家居情境。ASKO×N
城南中心项目分析——海信慧园
aylr2015的博客
11-28 419
海信慧园项目分析记录
洗衣机OOB技术：定义、现状、实现方式及优缺点分析
2401_83448585的博客
11-28 1390
动态OOB检测（DOOB）：利用先进的算法来分析洗衣机的运行数据，如电机的电流变化、旋转速度等，以判断是否有失衡的情况发生。综上所述，OOB检测技术在现代洗衣机中的应用显著提高了机器的安全性和洗涤效果，但也带来了一定的成本和技术复杂性。4. 智能化操作：现代洗衣机通过智能算法和传感器，能够自动识别和处理失衡问题，减少用户的干预，提升用户体验。3. 减少噪音和震动：有效的OOB检测可以减少洗衣机在运行过程中的异常震动和噪音，提供更安静的使用环境。
中企海外周报 | 中国众多品牌亮相IFA；喜茶新加坡第三家店开业
美通社
09-08 1544
摘要TCL通讯、海信、绘王、涂鸦智能、洽洽、喜茶、名创优品、绿宝集团、华为、宁德时代、隆基、新希望六和、徐工、长城汽车、恒洁卫浴、动点科技、太平鸟、梦东方电影等中国企业海...
推荐开源项目：Gesko - 极简主义的Jekyll博客引擎
gitblog_00432的博客
09-02 1129
推荐开源项目：Gesko - 极简主义的Jekyll博客引擎 GeskoGesko is a simple and minimalistic jekyll blogging theme.项目地址:https://gitcode.com/gh_mirrors/ge/Gesko 在寻求简洁与高效的数字表达时，我们不时会遇到那些令人心动的开源宝藏。今天，就让我们一同探索Gesko——一个基于Jekyl...
AWE2025艾普兰奖正式揭晓，展现家电产业蓬勃新质生产力
TMT_XQ的博客
03-23 1014
艾普兰获奖作品的背后，是中国家电及消费电子行业研发人员夜以继日的孜孜以求。
Asko雅士高抽油烟机 CW4936S安装使用手册.pdf
02-11
【Asko雅士高抽油烟机CW4936S】是一款高级的厨房电器，旨在提供高效的油烟抽排效果，并带有智能化的操作系统。该设备配备了详细的用户指南，以帮助用户了解其功能、安全操作和维护方法。以下是该抽油烟机的主要特点...
Asko雅士高滚筒洗衣机 W4106R.W.CN安装使用手册.pdf
02-11
【Asko雅士高滚筒洗衣机 W4106R.W.CN】是一...总的来说，Asko雅士高滚筒洗衣机 W4106R.W.CN是一款集安全性、高效性和人性化设计于一体的家用电器。为了确保最佳使用体验和机器寿命，用户必须遵循操作指南中的各项指导。
Asko雅士高滚筒热泵干衣机 T208C.W.CN安装使用手册.PDF
02-11
机器报错——故障排除指南部分则为用户提供了在遇到问题时的自我诊断和解决建议。比如，常见的门锁故障、温度传感器问题等，通过手册的指导，用户能够迅速定位问题并尝试进行修复。 除了上述内容，手册还提供了售后...
Asko雅士高全嵌式冷藏_冷冻冰箱 RFN31842I安装使用手册.pdf
02-11
【Asko雅士高全嵌式冷藏_冷冻冰箱 RFN31842I安装使用手册】提供了关于这款高端家电产品的详细操作指南。雅士高（Asko）是一款知名的家电品牌，其产品以简约设计和优化用户体验而著称。这份说明书涵盖了安全提示、...
Asko雅士高滚筒热泵干衣机 T108H.W.CN安装使用手册.PDF
02-11
本手册涵盖了滚筒式干衣机的安全指南、产品描述、安装和连接、烘衣前的小技巧、烘干步骤、系统设定、清洁和保养、机器报错——故障排除指南、售后服务、技术信息、程序图表、回收处理等内容。 安全指南 在使用滚筒...
自然语言处理实战：用CRF打造高精度命名实体识别系统
最新发布
Loving_enjoy的博客
05-03 2274
无论是想快速搭建一个可用的NER系统，还是希望深入理解概率图模型的精髓，CRF都是值得放入工具箱的利器。'prev_is_b-geo': prev_tag == 'B-GEO' # 假设prev_tag是前一个标签。('参观天安门', ['O', 'B-POI', 'I-POI', 'I-POI'])" —— 人工智能先驱吴恩达。- **BiLSTM-CRF**：经典组合，在CoNLL-2003达到91%的F1值。('北京市', ['B-GEO', 'I-GEO', 'I-GEO']),
远光软件发布九天 AI 应用开发平台，加速企业研发效能跃升
YG_JT的博客
04-30 1798
4月25日，远光软件在“2025珠海软件产业年会暨AI技术赋能行业发展交流会”上以虚拟直播方式发布了远光九天AI应用开发平台。
Python项目--基于计算机视觉的手势识别控制系统
exlink2012的专栏
04-23 4755
随着人机交互技术的快速发展，传统的键盘、鼠标等输入设备已经不能满足人们对自然、直观交互的需求。手势识别作为一种非接触式的人机交互方式，具有操作自然、交互直观的特点，在智能家居、游戏控制、虚拟现实等领域有着广泛的应用前景。 本项目旨在开发一个基于计算机视觉的手势识别控制系统，通过摄像头捕获用户的手部动作，实时识别手势类型，并将识别结果转化为相应的控制命令，实现对计算机或其他设备的非接触式控制。
操作系统级竞争开启：AI Agent 能否成为人形机器人爆发的奇点？
望获实时Linux系统
04-30 2015
本文深入探讨了在人形机器人产业从“机械执行”向“自主决策”跃迁的背景下，实时操作系统（RTOS）与AI Agent融合对突破物理世界响应极限的关键作用，重点分析了望获实时Linux等国产RTOS的技术优势及其在不同领域的应用前景，同时客观阐述了产业面临的挑战与机遇，旨在为相关领域的学术研究和产业发展提供参考与借鉴。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值