从头学习爬虫（二）----数据分析

本文主要介绍下爬虫数据分析的步骤，不是实战项目，只有详细分析。

数据来源

总有人问为什么我写的爬虫数据拿不到，那下面就浅谈下数据来源：

1、页面直接加载

2、动态加载

判断依据

首先我们打开百度首页分析，下面新闻怎么爬。

第一步，不是点击元素审查（Elements），请忘记查看源码（它是由各种请求渲染出来的，详细说明请看前篇）。 

第二步，点击网络（network）,找到你的请求（url所对应的那个），点击响应（reponse）

第三步，分析响应是否含有我们要的新闻

第四步，如果有直接根据请求copy请求头去获取这样一个简单的爬虫写完了。如果没有请继续按照第五步操作。

第五步，请求分析，对应你所要数据的类型，例如还是这个百度新闻，我们想拿到下面的新闻，必须点击加载更多

              那这个请求，可能在xhr或者other里面，如下图我们可以发现所要的内容在这个请求里面做第四步操作，提取内容

  

总结

我们从数据来源分析如何从不同请求中找到数据。

欢迎加群313557283~