爬虫实战之新冠肺炎疫情防控辟谣专区 （动态数据加载）解析（{}）类型

最近在写一个爬虫项目 新冠肺炎疫情防控辟谣专区

首页的链接地址为 ：http://www.piyao.org.cn/2020yqpy/

首先拿到该链接抓包分析该网页

可以看到该网址中，并没与首页中各条数据信息，可想而知，数据是动态加载的

接着想到 切换到XHR 但是下面并没有包

此时切换到JS,如下图

最后一条是我们需要的包，里面有我所需要的内容

此时的链接变为了

http://qc.wa.news.cn/nodeart/list?nid=11215616&pgnum=1&cnt=10&attr=63&tp=1&orderby=1&callback=jQuery112405857420953716566_1598068804068&_=1598068804069

分析各页的链接，发现改变的参数只有pgnum=1和_=1598068804069

因为我要进行分页操做，有两个参数不好弄，所以我用了另一种方法（有知道两个参数怎么分页的可以偷偷地告诉我）

还有一种方法，把此链接放到浏览器的url中，可以去除一些不必要的参数

最终得到一个不可再精简的链接 

http://qc.wa.news.cn/nodeart/list?nid=11215616&pgnum=1&cnt=10

爬虫的时候用此网站去爬即可

import requests

url = 'http://qc.wa.news.cn/nodeart/list?nid=11215616&pgnum=1&cnt=10'
headers = {
    'User-Agent': 'Mozilla/5.0',
    'Connection': 'close'
}
page_text = requests.get(url=url, headers=headers).text
print(page_text)
print(type(page_text))

此时打印响应数据，可以看到响应数据的类型是（{}）字符串类型的，不是单纯的字典类型，该怎么转换成字典类型呢？

({"status":0,"data":{"list":[{"DocID":1210761610,"Title":"失业人员可以领取6个月疫情补助？",}]},"totalnum":1000})

我在网上找这种类型的数据解析，找了好久都没结果。

最后我自己想了下，把（{}）先把字典外层的（）去掉

该怎么去掉括号呢？

使用replace函数即可

去掉（）之后依然是一个字符串类型

此时在使用json.loads()函数，将字符串类型，转成字典类型

import requests
import json

url = 'http://qc.wa.news.cn/nodeart/list?nid=11215616&pgnum=1&cnt=10'
headers = {
    'User-Agent': 'Mozilla/5.0',
    'Connection': 'close'
}
page_text = requests.get(url=url, headers=headers).text
print(type(page_text))
page_text = page_text.replace("(", '').replace(")", '')
aa_dict = json.loads(page_text)
print(type(aa_dict))

成功转换成了字典类型

此时可以开心的提取字典中我所需要的数据了

data_dict = aa_dict['data']['list']
for data in data_dict:
    Title = data['Title']
    print(Title)
    PubTime = data['PubTime']
    print(PubTime)
    LinkUrl = data['LinkUrl']
    print(LinkUrl)
    keyword = data['keyword']
    print(keyword)
    SourceName = data['SourceName']
    print(SourceName)