爬虫的概念

爬虫的概念

爬虫就是：模拟浏览器发送网络请求，获取请求响应

爬虫的流程

url – > 发送请求，获取响应---->提取数据—》保存
获取响应 --》提取url地址，继续请求

浏览器的请求过程

浏览器获取的数据包含:url地址对应的响应+js+css+jpg
爬虫会获取：url地址对应的响应
爬虫获取的内容和elements内容不一样，进行数据提取的时候，需要根据url地址对应的响应为准

http的重点请求头

• user-agent:告诉对方服务器是什么客户端正在请求资源，爬虫中模拟浏览器非常重要的一个手段

• cookie：获取登录只有才能够访问的资源

python2和python3中的字符串

ascii 一个字节表示一个字符
unicode 两个字节表示一个字符
utf-8 边长的编码方式，1，2，3字节表示一个字符

• python2

  • 字节类型：str,字节类型，通过decode()转化为unicode类型
  • unicode类型：unicode ，通过encode转化为str字节类型

• python3

  • str：unicode，通过encode() 转化为bytes
  • bytes：字节类型，通过decode（）转化为str类型