国家药监局数据采集(已失效)

最新推荐文章于 2023-10-12 09:24:57 发布
最新推荐文章于 2023-10-12 09:24:57 发布
阅读量1.7k 收藏 1
点赞数 2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_17818597/article/details/109524962
版权

由于药监局数据查询网站有防抓取机制,普通的模拟请求已经无法正常采集到数据

只能采用webbrowser 模拟点击进行采集,效率还行 ,但是由于有些分类数据量庞大,单机采集需要很长时间,要加快速度还需多加些机子

javascript:commitForECMA(callbackC,"content.jsp?tableId=25&tableName=TABLE25&tableView=国产药品&Id=120532",null)

直接用webbrowser模拟执行这个js就行了,穷举id就行了,从0开始

 

 

这个是我单机采集效率截图,点击出数据的成功率在90%以上,偶尔有超时

 

最终采集结果

 

二阶堂
关注
最全的食品药品监管信息汇总及采集方案详解
qzhida的博客
09-19 1309
文章来源：探码科技 随着食品药品监管政务公开工作的不断推进，政府实施食品药品监管数据资源目录管理，制定数据标准，编制数据开放目录，制定总局数据资源年度开放计划，并积极响应公众开放需求，依托国家公共信息资源统一开放平台和总局政府网站，稳步推进食品药品监管数据开放。 食品药品监管信息数据统计 食品药品监管信息大数据服务平台主要数据源于政府食品药品安全监管数据以及第三方数据和补充数据。据...
药监总局相关数据爬取
weixin_44738882的博客
03-28 2050
文章目录前言方法一：requests1.方法二：selenium1.引入库2.读入数据总结 前言 目标：获取企业的详情数据 方法一：requests 1. 方法二：selenium 1.引入库 2.读入数据 总结 例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。 ...
基于Scrapy+MySQL爬取国家药监局100w+数据踩坑记录
Jock2018的博客
08-24 2337
基于Scrapy+MySQL爬取国家药监局100w+数据踩坑记录1. 网页请求返回json数据的处理2. Scrapy的Request中回调函数间的信息交流3. MySQL报错：pymysql.err.InternalError: (1046, '')3.1 打印一下sql语句，同时放入Navicat中执行。3.2 检查程序连接mysql的设置是否正确，打印出配置信息检查：4. pymysql报错...
药监局国产非特备案数据的一些采集思路
sinat_17622297的博客
06-03 2630
前言 最近公司相关业务变动，需要采集药监的一些数据。在经过一段的时间的摸索后，顺利完成了需求。在这里，我会简单的分享个人在采集过程中的一些思考，如果能帮到大家就非常好了。 采集需求 采集地址：http://ftba.nmpa.gov.cn:8181/ftban/fw.jsp 采集数据项：非特备案产品的所有数据（列表&详情数据） 采集数量：？ 采集分析 首先我们打开网址：http://ftba.nmpa.gov.cn:8181/ftban/fw.jsp 对数据进行分析 f12打开chrome调试控制
爬虫：requset药监局数据
weixin_55491232的博客
04-18 915
import json import requests url = 'http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do' page = input('请输入查看药监局第几页的企业:') data = { 'method': 'getXkzsList', 'on': 'true', 'page': page, 'pageSize': '15', 'productName': '', 'conditi.
爬虫 爬取药监局公司信息.zip
01-22
爬虫 爬取药监局公司信息
2019年国家药监局药审中心招聘模拟试题及答案解析.docx
10-01
2019年国家药监局药审中心招聘模拟试题及答案解析.docx
国家药监局：进口非特化妆品备案电子信息凭证不再设定有效期.pdf
08-23
国家药监局：进口非特化妆品备案电子信息凭证不再设定有效期.pdf
医药生物国家药监局发布年度药品审评报告-4页.pdf.zip
最新发布
05-23
医药生物国家药监局发布年度药品审评报告-4页.pdf.zip
学习笔记(01):Python爬虫开发-综合练习之药监总局01
哈哈哈~嗝~的博客
04-29 330
您观看课程学习后 免费入群领取【超全Python资料包+17本学习电子书】 讲师：波波老师 曾就职于百度，任爬虫开发工程师 擅长数据分析和爬虫技术，喜欢研究各种爬虫奇淫巧技，专治各种反爬取疑难杂症 课程简介： "信息时代，数据为王，互联网包含了迄今为止最有用的数据集，并且大部分...
07.26爬虫request模块之药监局学习笔记
NTeasy_not的博客
07-26 576
### request模块之药监局 代码部分 #动态加载数据 #url基本一致只是id不一样 #详情页的也是动态加载出来的 #就意味着只要可以获取到id在将其带入到url中，但是首先怎么获得，其次怎么拼到一起 import json import requests if name ==“main”: #首先获取id date ={ ‘on’: ‘true’, ‘page’:‘1’, ‘pageSize’:‘15’, ‘productName’:’’, ‘conditionType’:‘1’, ‘ap.
Python题目5：爬取CFDA数据
Lj151151的博客
01-26 224
import requests class Cfda: # 初始化函数 def __init__(self): # 初始化要提交数据的网址 self.url = 'http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsList' ...
药监局数据的一些采集思路(2)
sinat_17622297的博客
06-22 1821
注：此方案适用于药监局所有使用了瑞数反爬的方案的站点 最近几日对瑞数的脚本做了研究，弄了个更优雅的破解方案。 1、首先对脚本进行逆向分析，对加签部分进行hook处理。 2、chrome插件注入脚本js （包含websocket代码处理） 3、本地启动websocket服务（本人使用flask+flask_socketio） 就那么简单3步即可在本地拥有接口加签服务 ...
瑞数系列_nmpa
sohook_blog的博客
12-22 1008
瑞数系列_nmpa根据itemId和pageNum进行数据采集调用流程截图表示该方案的好处沟通交流声明 根据itemId和pageNum进行数据采集 ''' @Author: ReichesGeld @CreateTime : 2021-12-01 @Desc: nmpa新版web端新版请求demo ''' import requests import json import time if __name__ == '__main__': get_data_url = "https://servi
requests实战之药监总局相关数据爬取（路飞学城
weixin_63095714的博客
10-12 428
【代码】requests实战之药监总局相关数据爬取（路飞学城。
爬取食品药监局首页企业详情数据（一）
dbb489660447的博客
03-24 527
学习Python爬虫的第二题，今天这个比较有难度，因为首页和企业详情页的数据都是动态加载的，要使用抓包工具去观察，找到一定的规律，写了很多注释和代码。值得开心的是，成功爬取到了数据。 对于抓包工具的使用上要更加熟练，合理使用它，就可以快速定位我们对于这个网页数据抓取的理解。并且编码过程不要着急，要顺一下这个思路，写好注释，方便我们回头复习。 是我写的代码啦，如果有不太理解的地方，私信我，看到会回复呢~
使用selenium采集国家药品监督管理局的GCP药物信息
Since_you的博客
07-12 3312
前言 由于业务需求，需要采集国家药品监督管理局上面的药物信息备案。拿到手这个任务，简单看了一下网页结构，不是小keys。直接到起手来撸代码，说时迟那时快，一分钟后运行了一下，直接给我返回了一串加密的js代码。？？？这是啥玩意呦，本以为只是一个简单的小任务，原来还有点文章在里面。 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20190712150413311.j...
python爬虫之动态加载获取药品监督管理局
qq_39649212的博客
08-20 4556
本次爬取使用request模块爬取国家药品监督管理局的数据并存入到Excel表格中 爬取目标网站 http://scxk.nmpa.gov.cn:81/xk/# 分析页面： 打开网页F12上下翻页可知页面数据都是通过ajax动态加载出来的数据，并且首页中的数据只包含了企业名称、许可证编号等信息，但不包含企业的详细信息，下图为首页页面。 若要得到企业的详细信息只能通过点击超链接查看，通过F12可以看出此处请求是通过企业id获取企业详细信息 爬取思路： 首先准备一个list集合用于存储所有企业的id，第一次
python爬取国家药监局
12-16
以下是使用Python爬取国家药监局的方法： 1. 首先，我们需要安装requests和beautifulsoup4这两个Python库。可以使用以下命令进行安装： ```shell pip install requests pip install beautifulsoup4 ``` 2. 导入requests和beautifulsoup4库： ```python import requests from bs4 import BeautifulSoup ``` 3. 使用requests库向国家药监局的网站发送请求，并获取响应内容： ```python url = 'http://125.35.6.84:81/xk/' response = requests.get(url) ``` 4. 使用beautifulsoup4库解析响应内容，获取需要的信息： ```python soup = BeautifulSoup(response.content, 'html.parser') table = soup.find('table', {'id': 'gzlist'}) rows = table.find_all('tr') for row in rows: cols = row.find_all('td') for col in cols: print(col.text.strip(), end='\t') print() ``` 上述代码中，我们首先使用find()方法找到id为'gzlist'的表格，然后使用find_all()方法找到所有的行，再使用嵌套的循环遍历每个单元格并输出其文本内容。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

二阶堂

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值