php爬取口碑商家数据,Python 爬取汽车之家口碑数据

环境：

win10 ，Contos7.4

python3.6.1

pycharm2017

retrying=1.3.3

requests=2.22.0

fake_useragent

抓包获取口碑数据接口：

车系口碑数据列表

# 口碑数据接口 ss:车系ID, p:页数, s:一页返回数据个数最多50

https://*****.com.cn/autov9.1.0/alibi/seriinos-ss3170-st0-p112-s50-isstruct0.json

口碑详细数据接口

# 口碑详细数据接口 eid=3052096 口碑详情页ID

https://*****.com.cn/autov9.1.0/alibi/NeEaltionInfo.ashx?eid=

第一步 获取所有车型数据：

def get_model(self, url):

"""获取所有车型数据"""

response = self._parse_url(url)

content = response.content.decode('GBK') # GBK解码

# 剔除开头和结尾处多余字符 转换为json

content = content.replace('var listCompare$100= ', '').replace(';', '')

content = json.loads(content)

for i in content:

for q in i['