1. 寻找json接口
在目标页面点击鼠标右键进行’检查’,然后选择’Network’,再点击’网页刷新’按钮,接着在右下区域内弹出的内容上选择具有pull_url标识的文件,最后点击’Preview’选项即可。
https://news.qq.com/
比如就以当前这个页面来看,获取这个json的接口就是点击’Preview’旁边的’Headers’,选择’Request URL:'后面的网址,就为请求数据的接口。如下
Request URL:
https://i.match.qq.com/ninja/fragcontent?pull_urls=news_top_2018&callback=__jp0
2. 尝试获取数据
import requests # 导入网络请求包
import json # 导入json模块
def get_json(): # 获取json文本
url = 'https://i.match.qq.com/ninja/fragcontent?pull_urls=news_top_2018&callback=__jp0' # 找到json的url
html = requests.get(url