需求:如图,我想把药品商品名通用名称数据库中的所有药品的中文名称和商品名称获取到
分析页面请求,共491页,共7354条记录,点击第二页
查看返回数据信息
由此确定代码编写方案
- 1. 按照要求想指定url发送post请求下载所有491个页面
- 2. 将页面用pd.read_html将表格信息提取
- 3. 将提取表格存储为csv文件
- 4. 之后将数据进行分析
以下是完整代码
# -*- coding: utf-8 -*-
"""
@Datetime: 2018/11/11
@Author: Zhang Yafei
"""
from multiprocessing import Pool
import pandas
import requests
import o