微博热点爬取html,爬虫实战-Ajax类型数据之微博爬取

首先我们这里采取的方式是爬取微博手机网页版，所以我们这里将浏览器设置成手机模式。如下图:

真夜猫.JPG

点击浏览器右上角小编画圈的这里将浏览器设置成手机，然后再打开百度搜索微博，这样我们打开的都是手机移动端网页。

分析手机微博网页类型

微博这个网页的数据都是我们先上滑动，然后依次显示出来的，这种数据类型是异步加载，ajax。所以我们这里将network抓包选取一下xhr，点击小编画圈的地方就可以筛选出ajax类型数据了，如下图：

真夜猫.JPG

数据抓取操作

我们想抓取微博数据，就需要将网页慢慢的向上滑动，然后找出我们需要的url。看小编操作的结果，如下图：

真夜猫.JPG

大家看，是不是抓取到了我们想要的数据，微博上面显示的内容是和我们抓的包里面的内容是一样的。这里是一个json类型数据，我们直接解析json就行了(www.json.cn 这个网页可以帮助我们很好的分析json数据)。

url规则分析

我们先要获取微博其他地方的数据，其实很简单，看下图：

真夜猫.JPG

大家看这个网页，他是有规律的，大家看这个url的最后是page=2,我们只需控制这个参数，就可以获取微博其他地方的数据。

具体代码

小编给大家简单写了一下，具体代码如下：

import requests

import json

from fake_useragent import UserAgent

import re

ua = UserAgent(use_cache_server=False)

def spider(url):

response=requests.get(url=url,headers={'User-Agent':ua.random,})

response=json.loads(response.text)

infos=response['data']['cards']

for info in infos:

text=info['mblog']['text']

text="".join(re.findall(r'>(.*?)

if text!="":

print(text)

print('*'*35)

def main():

for i in range(2,50):

url='https://m.weibo.cn/api/container/getIndex?containerid=102803&openApp=0&page='+str(i)+''

spider(url)

if __name__ == '__main__':

main()

运行效果如下：

真夜猫.JPG

还等什么，大家赶快去试试吧！