最近在写一个爬虫项目 新冠肺炎疫情防控辟谣专区
首页的链接地址为 :http://www.piyao.org.cn/2020yqpy/
首先拿到该链接抓包分析该网页
可以看到该网址中,并没与首页中各条数据信息,可想而知,数据是动态加载的
接着想到 切换到XHR 但是下面并没有包
此时切换到JS,如下图
最后一条是我们需要的包,里面有我所需要的内容
此时的链接变为了
分析各页的链接,发现改变的参数只有pgnum=1和_=1598068804069
因为我要进行分页操做,有两个参数不好弄,所以我用了另一种方法(有知道两个参数怎么分页的可以偷偷地告诉我)
还有一种方法,把此链接放到浏览器的url中,可以去除一些不必要的参数
最终得到一个不可再精简的链接
http://qc.wa.news.cn/nodeart/list?nid=11215616&pgnum=1&cnt=10
爬虫的时候用此网站去爬即可
import requests
url = 'http://qc.wa.news.cn/nodeart/list?nid=11215616&pgnum=1&cnt=10'
headers = {
'User-Agent': 'Mozilla/5.0',
'Connection': 'close'
}
page_text = requests.get(url=url, headers=headers).text
print(page_text)
print(type(page_text))
此时打印响应数据,可以看到响应数据的类型是({})字符串类型的,不是单纯的字典类型,该怎么转换成字典类型呢?
({"status":0,"data":{"list":[{"DocID":1210761610,"Title":"失业人员可以领取6个月疫情补助?",}]},"totalnum":1000})
我在网上找这种类型的数据解析,找了好久都没结果。
最后我自己想了下,把({})先把字典外层的()去掉
该怎么去掉括号呢?
使用replace函数即可
去掉()之后依然是一个字符串类型
此时在使用json.loads()函数,将字符串类型,转成字典类型
import requests
import json
url = 'http://qc.wa.news.cn/nodeart/list?nid=11215616&pgnum=1&cnt=10'
headers = {
'User-Agent': 'Mozilla/5.0',
'Connection': 'close'
}
page_text = requests.get(url=url, headers=headers).text
print(type(page_text))
page_text = page_text.replace("(", '').replace(")", '')
aa_dict = json.loads(page_text)
print(type(aa_dict))
成功转换成了字典类型
此时可以开心的提取字典中我所需要的数据了
data_dict = aa_dict['data']['list']
for data in data_dict:
Title = data['Title']
print(Title)
PubTime = data['PubTime']
print(PubTime)
LinkUrl = data['LinkUrl']
print(LinkUrl)
keyword = data['keyword']
print(keyword)
SourceName = data['SourceName']
print(SourceName)