===================================================================
网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。
======================================================================
网络爬虫的尺寸：
-
小规模：数据量小，对爬取速度不敏感 （爬网页，玩,90%）
-
中规模：数据量较大，对爬取速度敏感 （爬网站，系列网站）
-
大规模：爬取搜索引擎，爬取速度很关键，定制。 （爬全网）
爬虫导致的问题：
- 网络爬虫可能对服务器造成“性能骚扰”
Web服务器默认接收人类访问
受限于编写水平和目的，网络爬虫将会为Web服务器带来巨大的资源开销
- 网络爬虫使用不当可能带来“法律风险”
服务器上的数据有产权归属
网络爬虫获取数据后牟利将带来法律风险
- 网络爬虫的“隐私泄露”
网络爬虫可能具备突破简单访问控制的能力，获得被保护数据
从而泄露个人隐私
总结：
-
性能骚扰
-
法律风险
-
隐私泄露
======================================================================
• 来源审查：判断User‐Agent进行限制（需要有一定的技术能力）
检查来访HTTP协议头的User‐Agent域，只响应浏览器或友好爬虫的访问
• 发布公告：Robots协议
告知所有爬虫网站的爬取策略，哪里可以爬，哪里不可以，要求爬虫遵守。
=======================================================================
Robots Exclusion Standard，网络爬虫排除标准
作用：
网站告知网络爬虫哪些页面可以抓取，哪些不行
形式：
在网站根目录下的robots.txt文件
比如：京东的Robots协议
真实的Robots协议：
百度：http://www.baidu.com/robots.txt
新浪：http://news.sina.com.cn/robots.txt
QQ：http://www.qq.com/robots.txt
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。
深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！
由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新
如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）
的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！**
由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新
如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）
1198
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
