爬虫1

爬虫的概念

• 爬虫是模拟浏览器发送请求，获取相应

爬虫的流程

• url—>发送请求，获取相应—》提取数据—》保存
• 发送请求，获取相应—》提取URL

=爬虫要根据打钱url地址对应的相应为准，当前url 地址的elements的内容和url的响应不一样=

页面的数据在哪里

• 当前url地址对应的响应中
• 其它的url对应的响应中
  • 比如ajax请求中
• js 生成的
  • 部分数据在响应中
  • 全部通过js生成的