Python动态爬取网页信息

目录

 

背景

解析

什么是动态加载

动态加载数据获取

动态数据解析

实战

总结

---

背景

在日常的爬虫练习时有些网站的数据信息是静态的，也就是说我们通过浏览器窗口中的“检查源代码”窗口就可以获取到（图1-1）。

但是也有相当一部分网站通过上述方法是获取不到的，如图1-2所示，打开该链接http://scxk.nmpa.gov.cn:81/xk/，该网页的的源代码中并没有我需要的数据信息“广东妮色生物科技有限公司（图1-3）”内容，

                                                                    图1-2网页源代码

                                                                     图1-3 网页信息

此时再进一步进行分析，我们使用谷歌开发者工具去进行一个抓包，通过分析可知我们需要的数据并不在http://scxk.nmpa.gov.cn:81/xk/这个链接中，而是在