爬虫概念、工具和 HTTP

1. 爬虫是什么

• 爬虫：模拟客户端(浏览器)发送网络请求，获取响应，按照规则提取数据的程序
• 模拟客户端(浏览器)发送网络请求：照着浏览器发送一模一样的请求，获取和浏览器一模一样的数据

2. 爬虫的数据

• 呈现出来：展示在网页上或者展示在app上
• 进行分析：从数据中寻找一些规律

3. 需要的软件和环境

• python3

  • python基础
  • 基础语法（字符串，列表，字典，判断和循环）
  • 函数（函数的创捷和调用）
  • 面向对象（如何创建一个类，如何使用这个类）

• pyCharm

  • python编辑器

• chrome浏览器

  • 分析网络请求

4. 浏览器的请求

• url

  • 在 chrome 中点击检查，点到 network
  • url = 请求协议+网站的域名+资源的路径+参数

• 浏览器请求utl地址

  • 当前url对应的响应+js+css+图片

• 爬虫请求url地址

  • 当前url对应的响应

• elements的内容和爬虫获取到的url地址的响应不同，需要爬虫中以当前对应url地址对应的响应为准提取数据

• 当前url地址对应的响应在哪里

  • 从network中找到当前url地址，点击response
  • 在页面上右键显示源代码

5. 认识 HTTP、HTTPS

• HTTP 和 HTTPS 是什么
  • HTTP：超文本传输协议
    • 以明文的形式传输
    • 效率高，但不安全
  • HTTPS：HTTP + SSL(安全套接字层)
    • 传输之前数据先加密，后解密获取内容
    • 效率太低，但是安全
• HTTP 协议之请求

HTTP
Request
请求行
请求头
User-Agent	用户代理：对方服务器能够通过user_agent知道当前请求对方资源的是什么浏览器
Cookie	用来存储用户信息的，每次请求会被携带上发送给对方的浏览器
	要获取登陆才后才能访问的页面
	对方的服务器会通过cookie来判断我妈是一个爬虫
请求体
GET	没有请求体
	数据放到 url 地址中
POST	有请求体--携带数据
	常用于登陆注册
	请求携带的数据量比GET请求大，多，常用于传输大文本的时候

• HTTP 协议之响应

HTTP
Respones
响应头
响应体
url对应的响应
Set-Cookie	对方服务器通过该字段设置cookie到本地