python爬虫爬取json数据

python爬虫爬取json数据

有的时候我们在爬取的过程中会遇到一种情况,Elements有数据,可是在Network没有你想要数据,这个时候可能就遇到json了,这个时候怎么办呢,别急我们来慢慢来

#首先点击XHR

#然后看着会有几个数据包 不会太多只有几个一个一个找 总有你想要的数据

#有我们看不懂的数据怎么办呢,把你看不懂的数据复制下来放进这个网址里:http://www.kjson.com/jsoneditor/?f=1

#确认这是我们所需要的数据,这时我们就可以爬取了

import requests
from lxml import etree

url = 'https://doupocangqiong1.com/novelsearch/chapter/transcode.html'

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3941.4 Safari/537.36'
}
# 这是请求所需的数据
data = {
        "siteid": "0",
        "bid": "1",
        "cid": "875451"
        }

ret = requests.post(url=url, headers=headers, data=data)
with open('./kkk.txt', 'w', encoding='utf-8') as f:
    f.write(str(ret.json()))

#这样我们就可以拿到json的数据了是不是很简单