爬虫初认识

关于爬虫

你是否在夜深人静的时候，想看一些让你更睡不着的图片

你是否在考试前夕或者面试前夕，想看一些具有针对性的题目和面试题

你是否想在杂乱的网络世界中获取你想要的数据

什么是爬虫：

通过编写程序，模拟浏览器，去互联网上抓取我们想要的数据的过程

爬虫的合法性

爬虫不被法律禁止 快播王欣 技术本无罪

但有法律风险

爬虫干扰被访问网站的正常运营

爬取受法律保护的特定类型的数据和信息

如何避免法律风险

时常优化爬虫程序，避免干扰网站的正常运行

审核程序爬取到的数据，当发现数据涉及到用户隐私和商业机密等，及时停止爬取和传播

爬虫在使用场景中的分类

通用爬虫

搜索引擎的抓取系统重要组成部分，抓取的是一整张页面数据

聚焦爬虫

是建立在通过爬虫的基础之上，抓取的是页面中特定的局部内容

增量式爬虫

检测网站中数据更新的情况。只会抓取网站中最新更新出来的数据

爬虫的矛与盾

反爬机制

门户网站，可以通过制定相应的策略或者技术手段，防止爬虫程序进行网站数据的爬取

反反爬策略

爬虫程序可以通过制定相关的策略或者技术手段，破解门户网站中具备的反爬机制，从而可以获取门户网站的数据信息

rebots.txt协议

君子协议 规定了网站中哪些数据可以被爬虫爬取，哪些数据不可以被爬取

历史上第一桩关于爬虫的官司诞生在2000年，eBay将一家聚合价格信息的比价网站BE告上了法庭，eBay声称自己已经将哪些信息不能抓取写进了爬虫协议中，但BE违反了这一协议。但BE认为eBay上的内容属于用户集体贡献而不归用户所有，爬虫协议不能用作法律参考。

HTTP协议(超文本传输协议)

概念：就是服务器和客户端进行数据交互的一种形式

常用请求头信息

User-Agent：请求载体的身份标识

Connection:请求完毕后，是断开链接还是保持链接

常用响应头信息

Content-Type:服务器响应回客户端的数据类型

HTTPS协议

安全的超文本传输协议

加密方式

对称秘钥加密

非对称秘钥加密

证书秘钥加密