import requests
import json
# 网页中有的数据是动态加载的
# 首页中对应的企业信息数据是通过ajax动态请求到的
'''
http://scxk.nmpa.gov.cn:81/xk/itownet/portal/dzpz.jsp?id=a8294d55ca1e448d8456f75f49f331df
'''
# 获取不同企业的id
url = ' http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList'
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36'
}
# 参数的封装
# 获取的页数
id_list = []
for i in range(1,10):
page = str(i)
# 请求参数
data = {
'on': 'true',
'page': '1',
'pageSize': '15',
'productName': '',
'conditionType': '1',
'applyname': '',
'applysn': '',
}
json_ids = requests.post(url=url,data=data,headers=headers).json()
# 将获取到的不同企业的ID储存到id_list
for dic in json_ids['list']:
id_list.append(dic['ID'])
# 获取企业详情数据
# 储存所有公司的详细信息
all_detail_json = []
post_url = 'http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsById'
for id in id_list:
data = {
'id':id
}
detail_json = requests.post(url=post_url,data=data,headers=headers).json()
all_detail_json.append(detail_json)
'''
json.dump()和json.dumps()的区别
json.dumps()是把python对象转换成json对象的一个过程,生成的是字符串。
json.dump()是把python对象转换成json对象生成一个fp的文件流,和文件相关。
'''
# 将数据存储起来
with open('./化妆.json', 'w',encoding='utf-8') as fp:
json.dump(all_detail_json,fp=fp,ensure_ascii=False)
print("结束")
爬取药监总局各个公司的信息
最新推荐文章于 2023-12-18 10:17:35 发布