python学习基本概念

爬虫：通过编写程序模拟浏览器，然后从互联网当中去进行指定数据的抓取操作。

爬虫在使用场景当中的分类：

通用爬虫：

是搜索引擎当中重要的组成部分，用于抓取整个页面

聚焦爬虫：

是建立在通用爬虫的基础之上的，用于抓取页面当中特定的局部内容

增量爬虫:

用于监测网站当中数据跟新的情况，会爬取网站当中最新的数据信息

反爬虫机制：

一些相关门户会指定一定的策略来阻止爬虫程序来获取网站当中的一些数据信息

反反爬策略：

用于攻击门户网站当中的一些反爬虫机制

Robots.txt协议

君子协议:明确的规定了网站当中那些数据可以被进行爬取，那些数据是不能够被进行爬取。

 

常用请求的头信息：

User-agent:是请求载体的身份标识

connection：请求完毕之后是否继续保持请求

Content-type：服务器回应用户的数据信息类型

HTTPS：S是securet表示信息传递是安全的。http则是不安全的传递

加密方式：

对称秘钥加密：

C端向S端传递数据的时候会对数据进行加密之后，将密文和秘钥都传递到S端

非对称加密：

客户端在向服务器端发送请求之前，服务器端会先发一个公钥给客户端，客户端根据公钥来实现对数据进行加密之后，将密文传递给服务器端，服务器端拿到密文之后再使用秘钥来实现对密文进行解密操作。

缺点：如果服务器端发送给客户端的公钥被第三方截取之后并偷换为第三方公钥，然后客户端根据第三方公钥进行加密之后的密文数据就会被泄露出去。

证书认证机构：

服务器端发送的公钥信息是经过第三方证书认证机构进行认定的，可以确保该公钥的合法性和可信性，而不是被攻击者偷偷替换掉的公钥，这样用户就可以放心的使用认证之后的公钥来实现信息的加密操作。