爬取药监总局各个公司的信息

import requests
import json

# 网页中有的数据是动态加载的
# 首页中对应的企业信息数据是通过ajax动态请求到的
'''
    
    http://scxk.nmpa.gov.cn:81/xk/itownet/portal/dzpz.jsp?id=a8294d55ca1e448d8456f75f49f331df
    
'''
# 获取不同企业的id
url = ' http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList'

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36'
}

# 参数的封装
# 获取的页数
id_list = []
for i in range(1,10):
    page = str(i)
    # 请求参数
    data = {
            'on': 'true',
            'page': '1',
            'pageSize': '15',
            'productName': '',
            'conditionType': '1',
            'applyname': '',
            'applysn': '',
    }

    json_ids = requests.post(url=url,data=data,headers=headers).json()
    # 将获取到的不同企业的ID储存到id_list
    for dic in json_ids['list']:
        id_list.append(dic['ID'])
# 获取企业详情数据
# 储存所有公司的详细信息
all_detail_json = []
post_url = 'http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsById'
for id in id_list:
    data = {
        'id':id
    }
    detail_json = requests.post(url=post_url,data=data,headers=headers).json()
    all_detail_json.append(detail_json)
'''
json.dump()和json.dumps()的区别
json.dumps()是把python对象转换成json对象的一个过程，生成的是字符串。
json.dump()是把python对象转换成json对象生成一个fp的文件流，和文件相关。
'''
# 将数据存储起来
with open('./化妆.json', 'w',encoding='utf-8') as fp:
    json.dump(all_detail_json,fp=fp,ensure_ascii=False)
print("结束")