Ajax爬取微博

根据书上的案例写的,但是案例太老,所以案例中给的微博地址访问后,居然打开了移动端的微博页面,其余的网络请求界面,网络请求回应的数据大体上跟书上的内容一致,但是如果爬取的是现在的微博网址的话,书上的案例教程搭配不上,所以下面的代码爬取的是移动端的微博网址。

爬取结果:
在这里插入图片描述

原理介绍

有很多网页不是静态网页,当你直接使用get请求网页时,返回的html代码中其实没有包含任何有用的信息,那些你需要的信息还没有被网页渲染上去,我们实际在网页中浏览的信息是由JavaScript处理后生成的结果,这些数据是由原网页发送了一个Ajax请求,通过请求返回的数据,再次渲染网页。

准备工作

安装urllib,pyquery,json,requests模块。没有安装的,直接pip install 模块名就行,如果还安装不下了,就升级一下pip版本。

流程解析

第一步:查看Ajax请求

为了获取到通过Ajax请求后渲染的网页数据,我们首先要知道网页发送了什么样的Aja

  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值