python 爬虫系列（二） 网站特定json列表获取

python爬虫爬取特定网址，主要是为了获取相应的数据，之前是介绍的如何获取网站源码，然而，特定的数据是通过的特定的json格式保存在相应的链接中，所以，找到相应的链接获取

我们以WEGAME为例，网址为：https://www.wegame.com.cn/store/26/lol

随便打开一个英雄联盟的商店，然后右键+检查，点击Network，ctrl+R

搜索到游戏评论的json链接，按照Request URL打开链接，得到

相应的爬取代码

import requests
from bs4 import BeautifulSoup as BS

import re
import json


headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36'}
url ='https://www.wegame.com.cn/api/webd/comment/game_top_tags.fcg?topicid=26&appid=100'
h = 'https://www.wegame.com.cn'
response = requests.get(url, headers=headers)
json_page = json.loads(response.text)
print(json_page)
print(json_page['data'][0]['gameid'])

相应的输出结果如下