根据书上的案例写的,但是案例太老,所以案例中给的微博地址访问后,居然打开了移动端的微博页面,其余的网络请求界面,网络请求回应的数据大体上跟书上的内容一致,但是如果爬取的是现在的微博网址的话,书上的案例教程搭配不上,所以下面的代码爬取的是移动端的微博网址。
爬取结果:
原理介绍
有很多网页不是静态网页,当你直接使用get请求网页时,返回的html代码中其实没有包含任何有用的信息,那些你需要的信息还没有被网页渲染上去,我们实际在网页中浏览的信息是由JavaScript处理后生成的结果,这些数据是由原网页发送了一个Ajax请求,通过请求返回的数据,再次渲染网页。
准备工作
安装urllib,pyquery,json,requests模块。没有安装的,直接pip install 模块名就行,如果还安装不下了,就升级一下pip版本。
流程解析
第一步:查看Ajax请求
为了获取到通过Ajax请求后渲染的网页数据,我们首先要知道网页发送了什么样的Aja