爬虫学习(一)

爬虫的概念

• 爬虫是模拟浏览器发送请求，获取响应

爬虫的流程

• Url—>发送请求，获取响应—>提取数据—>保存
• 发送请求，获取响应—>提了Url

爬虫要根据当前Url地址对应的响应为准，当前Url地址的elements的内容和Url的响应不一样

页面上的数据在哪里

• 当前Url地址对应的响应中
• 其他的url地址对应的响应中
  • 比如ajax请求中
• js生成的
  • 部分数据在响应中
  • 全部通过js生成

requests中解决编解码的方法

• response.content.decode()
• response.content.decode(‘gbk’)
• response.text