爬虫学习记录

爬虫

什么是爬虫：

通过编写程序，模拟浏览器上网，然后让其去互联网上抓取的过程

爬虫的合法性

在法律中是不被禁止的，具有违法风险爬虫不得干扰被访问网站的运营，爬虫抓取了受保护的数据与信息

爬虫的分类

通用爬虫：抓取系统重要组成部分，抓取一整页页面数据

聚焦爬虫：抓取的是页面中特定的局部内容

增量式爬虫：监测网站中数据更新的情况，只会抓取最新更新出来的数据

robots.txt协议

规定了那些可以爬取，那些不可以爬取

http&https协议

HTTP协议

概念：服务器与客户端进行数据交互的一种形式

常用请求头信息

USER-AGENT: 请求载体的身份标识

CONNECTION：请求完毕之后，是断开连接还是保持连接

常用响应头信息

content-type：服务器响应回客户端的数据类型

HTTPS协议

安全的超文本传输协议

有加密，加密方式

对称密钥加密

非对称加密

证书加密

REQUESTS模块

作用：模拟浏览器发送请求

如何使用（编码流程）：指定URL，发送请求，获取响应的数据，持久化存储，

pip install requests

具体的代码的编写