网络爬虫学习

#网络爬虫

结论：网络爬虫，又称为网页蜘蛛、网络机器人，是一种按照一定的规则，自动请求万维网网站并提取网络数据的程序或脚本

爬虫的分类

1通用网络爬虫：爬取互联网上所有的资源
2聚焦网络爬虫：又称，主题网络爬虫。只选择性地爬取根据需求主题相关页面。
3增量式网络爬虫：只爬取新产生和发生变化的网页。
4深层网络爬虫：大部分内容不能通过静态的URL获取、隐藏在搜索表单后的、只有用户一些关键词才能获得网络页面。

爬虫抓取网页的详细流程

"""
(1) 首先选取一些网页，将这些网页的链接地址作为种子URL；

(2) 将这些种子URL放入到待抓取URL队列中；

(3) 爬虫从待抓取URL队列（队列先进先出）中依次读取URL，并通过DNS解析URL，把链接地址转换为网站服务器所对应的IP地址；

(4) 将IP地址和网页相对路径名称交给网页下载器，网页下载器负责页面内容的下载；

(5) 网页下载器将相应网页的内容下载到本地；

(6) 将下载到本地的网页存储到页面库中，等待建立索引等后续处理；与此同时将下载过网页的URL放入到已抓取URL队列中，这个队列记载了爬虫系统已经下载过的网页URL，以避免网页的重复抓取；

(7) 对于刚刚下载的网页，从中抽取出所包含的所有链接信息，并在已抓取URL中检查其是否被抓取过，如果还未被抓取过，则将这个URL放入到待抓取URL队列中；

(8) 下载被放入待抓取URL队列中的URL对应的网页，如此重复3-7，形成循环，直到待抓取URL队列为空。

对于爬虫来说，往往还需要进行网页去重及网页反作弊。
"""

robots.txt文件

robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

防爬虫应对策略

1