使用python和requests爬取世界卫生组织vigiaccess不良反应数据库

vigiaccess是世界卫生组织收集药品不良反应的数据库，可以查询到各种药品的不良反应，本文是以爬取药品的不良反应为目标，本文仅供学习交流！！

一、分析网站特点，找到可以request的URL

1.分析网站

1. 用谷歌浏览器打开网站http://www.vigiaccess.org/按F12进入调试模式，在Network 里点击XHR。进入网站在网站里输入药品名，我这输入的是Bisoprolol，然后点开Adverse drug reactions (ADRs)进入最里层。可以在XHR里就看到红色大框里的这3个文件。
   

2. 第一个文件 drug?tradename=Bisoprolol 返回的是药品在数据库里的查询id，我这里输入的药品是Bisoprolol，所以返回的是1uNwu7s8xez4ME7Jg8fprw%3D%3D这么一串。我们先点击 drug?tradename=Bisoprolol 文件，再点击Preview就可以看到。

3. 点击第二个文件distributions?agegroupFilter=&continentFilter=&rea…&substanc，再点击Preview，可以看到这个返回的是一级目录Adverse drug reactions (ADRs)等和它的二级目录及其二级目录的查询id。

4. 点击第三个文件preferredterms?agegroupFilter=&continentFilter=&re…&s，再点击Preview，可以看到是具体的不良反应（ADR）。
   

2.获取URL

1. 分别点击以上3个文件的Headers，可以看到链接Request URL。

2. 第一个文件的链接：https://api.who-umc.org/vigibase/icsrstatistics/dimensions/drug?tradename=Bisoprolol，可以看到 tradename=Bisoprolol，等于号后面的就是我们输入的药品Bisoprolol，所以我们只需修改等于号后面的就可以得到其他药品查询ID。我这里输入的药品是Bisoprolol，所以返回的药品查询ID是：1uNwu7s8xez4ME7Jg8fprw%3D%3D。

3. 第二个文件的链接：https://api.who-umc.org/vigibase/icsrstatistics/distributions?agegroupFilter=&continentFilter=&reactionFilter=&sexFilter=&substanceFilter=1uNwu7s8xez4ME7Jg8fprw%253D%253D，可以看到substanceFilter=1uNwu7s8xez4ME7Jg8fprw%253D%253D，等于号后面的就是药品的查询ID（第一个文件返回的数据），所以我们只需修改等于号后面的就可以得到目录数据，返回的数据里有二级目录的ADR查询ID。

4. 第三个文件的链接：
   https://api.who-umc.org/vigibase/icsrstatistics/distributions/reactions/preferredterms?agegroupFilter=&continentFilter=&reactionFilter=1qyE%252FhX5pLN1fUGPIVfAtQ%253D%253D
   &resultLimit=50&resultStart=0&sexFilter=&substanceFilter=1uNwu7s8xez4ME7Jg8fprw%253D%253D，可以看到reactionFilter=1qyE%252FhX5pLN1fUGPIVfAtQ%253D%253D，等于号后面的就是第二个文件返回的二级目录ADR查询ID；还可以看到substanceFilter=1uNwu7s8xez4ME7Jg8fprw%253D%253D，就是第二个文件里的链接后面部分即药品的查询ID。

3.爬虫思路

先用药品名拼接第一个文件里的url，requests得到药品的查询id。再用药品的查询id拼接第二个文件里的url，requests得到二级目录ADR的查询id。最后用二级目录ADR的查询id拼接第三个文件里的url，requests得到具体的ADR。

二、具体代码

# -*- coding: utf-8 -*-
from urllib import parse
import requests
import time
#查询药id的url
url_id ="https://api.who-umc.org/vigibase/icsrstatistics/dimensions/drug?tradename="
#查询分级Id的url
url_drug="https://api.who-umc.org/vigibase/icsrstatistics/distributions?agegroupFilter=&continentFilter=&reactionFilter=&sexFilter=&substanceFilter="
#不良反应信息的url,两部分组成
url_info_1="https://api.who-umc.org/vigibase/icsrstatistics/distributions/reactions/preferredterms?agegroupFilter=&continentFilter=&reactionFilter="
url_info_2="&resultLimit=50&resultStart=0&sexFilter=&substanceFilter="


#浏览器里的headers
headers={
    "Accept": "application/json, text/plain, */*",
    "Accept-Encoding": "gzip, deflate, br",
    "Accept-Language": "zh-CN,zh;q=0.9",
    "Authorization": "Basic VmlnaUJhc2VBY2Nlc3NDbGllbnQ6cHN3ZDRWaUE=",
    "Connection": "keep-alive",
    "Host": "api.who-umc.org",
    "Origin": "http://www.vigiaccess.org",
    "Referer": "http://www.vigiaccess.org/",
    "Sec-Fetch-Dest": "empty",
    "Sec-Fetch-Mode": "cors",
    "Sec-Fetch-Site": "cross-site",
    "umc-client-key": "6d851d41-f558-4805-a9a6-08df0e0e414b",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36"
}


#抓取药品Id
def crawlDrugId(url):
    try:
        data=requests.get(url=url,headers=headers,timeout=10)
        print("抓取药品Id连接服务器状态：",data)
        drug_id=data.json()[0]["Code"]
        return drug_id
    except:
        return ""

#抓取分级Id
def scaleId(url):
    try:
        data=requests.get(url=url,headers=headers,timeout=10)
        print("抓取分级Id连接服务器状态：",data)
        data=data.json()["AdrObservations"]
        scale=[]
        #scale={}
        for i in data:
            # Group=i["Group"]
            GroupId = i["GroupId"]
            # NumberOfReports=i["NumberOfReports"]
            # scale[Group]=GroupId
            scale.append(GroupId)
        return scale
    except:
        return ""

#抓取不良反应信息
def crawlAdrInfo(url):
    try:
        data=requests.get(url=url,headers=headers,timeout=10)
        print("抓取不良反应信息连接服务器状态：",data)
        data=data.json()["Observations"]
        adr_info={}
        for i in data:
            Group=i["Group"]
            NumberOfReports=i["NumberOfReports"]
            adr_info[Group]=NumberOfReports
        return adr_info
    except:
        return ""


def main(drugList):
    data=[]
    for i in range(len(drugList)):
        drugName=drugList[i]
        new_url_id = url_id + drugName   #拼接url
        drug_id = crawlDrugId(new_url_id) #抓取药品Id
        time.sleep(1)
        drug_id = parse.quote(drug_id)   #将数据进行url编码
        new_url_drug = url_drug + drug_id#拼接url
        scale = scaleId(new_url_drug)#抓取分级页Id
        time.sleep(1)
        adr_info_all = {}
        for s in scale:
            s = parse.quote(s)  #将数据进行url编码
            url_info = url_info_1 + s + url_info_2 + drug_id#拼接url
            adr_info = crawlAdrInfo(url_info)#抓取不良反应信息
            time.sleep(1)
            adr_info_all.update(adr_info)
        print(adr_info_all)
        data.append(adr_info_all)
    return data

if __name__=="__main__":
    start_time = time.time()
    drug=["Bisoprolol"]   
    data=main(drug)
    print(data)
    print("successful,任务完成！！")
    end_time = time.time()
    uesd_time = end_time - start_time
    print("总用时：", uesd_time)

三、结束

上面代码只是简单实现了这个网站数据爬取，还得根据实际项目需要再做修改。注意：request 的时候，有时网站未响应或者响应超时，需添加代码多request几次。