食药监局数据抓取

最新推荐文章于 2022-04-18 14:41:54 发布
最新推荐文章于 2022-04-18 14:41:54 发布
阅读量1.9k 收藏
点赞数 1
分类专栏： 求助 文章标签： python 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43031991/article/details/106763931
版权

本人技术菜鸟 之前用的火车头抓取工具，但是20年网站改版后，突然不知道怎么抓数据了，最近在学python有没有大佬能说明下，这个网站数据查询库，怎么用python抓取

http://app1.nmpa.gov.cn/datasearchcnda/face3/base.jsp?tableId=41&tableName=TABLE41&title=%E8%8D%AF%E5%93%81%E7%BB%8F%E8%90%A5%E4%BC%81%E4%B8%9A&bcId=152911863995882985662523838679

weixin_43031991
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
药监总局相关数据爬取
weixin_44738882的博客
03-28 1760
文章目录前言方法一：requests1.方法二：selenium1.引入库2.读入数据总结 前言 目标：获取企业的详情数据 方法一：requests 1. 方法二：selenium 1.引入库 2.读入数据 总结 例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。 ...
药监局系统
02-23
这是医院和企业间的 系统架构，通过此系统，此系统可以使那些刚入门的初级程序员得到很大的提升
爬虫小例--爬药监局（上）
john_ashley的博客
11-17 3707
”明月如霜，好风如水，清景无限 “ 文远最近也算是爬虫入门吧，相信后面会慢慢熟悉。 壹 直接上例子，爬取药监局的数据。目的是得到每家公司的详情数据，例： 具体网址：http://scxk.nmpa.gov.cn:81/xk/ 这是主页，下面详情信息： 贰 分析，通过网页检查发现，主网页上没有公司相关数据，观察XHR中的Ajax请求发现，公司信息都是动态数据（方便更新），点击发现每个公司 的详情信息通过ID号这个参数区别，那么可以确定思路是先得到每个公司的ID号，然后在通过ID对应每一个详细网站，同样右键
爬取食品药监局首页企业详情数据（二）
dbb489660447的博客
03-24 593
今天的主要学习内容就是修改第一次的爬虫代码。 第一次爬取是获得首页全部的企业信息数据，那么这次就是要获得全部的企业信息数据； 第一步，要得到每一家企业的ID，通过访问URL地址，获得每一家企业的ID，存放在列表里面； URL ='http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList' 第二步，遍历存放企业ID的列表，访问企业详情页URL地址，获得每一家企业详细信息，最后存放在JSON文件中。 req_u
爬取药监局
qq_51014805的博客
11-17 1361
先通过谷歌获取药监局的源代码，url地址，form data 因为企业名称是个url地址，所以要想抓取到企业信息，先抓取整个页面，再通过拼接url地址抓取到企业信息 通过request抓取整个页面，并把id存入列表 url = 'http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList' headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x
【药监总局】python&&抓取企业详情数据
weixin_48321071的博客
03-10 2449
提前准备工作 一.http://scxk.nmpa.gov.cn:81/xk/ 二.要求：抓取每一家企业的企业详情数据 思路 1.在对一个陌生的网站进行数据爬取前，首先要确定我们想要爬取的数据是否为动态加载数据? 2.先进入到任意一家企业的详情页中，查看企业的详情数据是否为动态加态数据？ # 3.基于抓包工具进行局部搜索 # 搜索的到:不是动态加载 # 搜索不到：是动态加载 # 发生企业的详情数据是动态加载数据 3如何捕获动态加载数据 # 基于抓包工具进行全局搜索，定位到动态加载数
爬虫 爬取药监局公司信息.zip
01-22
爬虫 爬取药监局公司信息
智慧食药监局市县食药监大数据平台解决方案.docx
06-08
智慧食药监局市县食药监大数据平台解决方案，共88页
食药监局信息化平台建设方案.ppt
07-13
智慧方案
各国药监局网站.pdf
01-26
各国药监局网站.pdf
智慧食药监局市县食药监大数据平台解决方案.rar
09-06
智慧食药监局市县食药监大数据平台解决方案
国家要监督管理总局信息爬取
qq_45086757的博客
12-23 1692
爬取药监局的企业详情数据的第一页及分页设置 药监管总局官网 点击每一个企业都会跳转页面，进入到该企业的详细数据页，以第一个为例 我们要爬取的就是每个企业的详细数据，就需要找到官网页面的url和每家企业的详情页url之间的关系。 打开官网页面的开发者模式，可以看到发送的是post请求，json格式数据，并且url携带多个参数，需要进行参数封装 打开响应数据response 可以看到响应数据的json格式，现在需要将这些响应数据复制到在线JSON校验格式化中进行校验，对其进行分析，发现每家企业都对应唯
py 爬虫，爬取药监总局相关数据
qq_36270681的博客
12-15 539
import requests import json if __name__ == '__main__': url = 'http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList' # UA 伪装 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (K.
爬虫：requset药监局数据
weixin_55491232的博客
04-18 877
import json import requests url = 'http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do' page = input('请输入查看药监局第几页的企业:') data = { 'method': 'getXkzsList', 'on': 'true', 'page': page, 'pageSize': '15', 'productName': '', 'conditi.
爬虫——2020-9-29 requests实战之药监总局相关数据爬取
deku1018的博客
11-11 527
requests实战之药监总局相关数据爬取 首先分析url的特点， 还有详情页面的url的特点 分析请求的方式（ajax请求），respond的数据，要是json的话可以将json文件进行在线转译，看一下具体形式内容 根据需要爬取的页面数量构建循环，搭建框架。注意requests.post()中参数（data）的形式，在原网页中观察。 import requests import json if __name__ == "__main__": url = '写入url' headers
爬虫第二节课——抓取药监网
M_arshal_的博客
02-03 234
page_text=requests.get(url=url,headers=headers).text with open('.huazhuangpin.html','w',encoding='utf-8') as fp: fp.write(page_text) 由于数据并不是对应的地址获取到的！！！而是通过ajax请求到的。所以这段代码不对，你仅仅输入url不能得到信息 #在首页中对应的企业数据是对应ajax请求到的 而且点进去发现，不同企业请求的url都是相同的，不同的只是i...
学习笔记(15):Python爬虫开发-综合练习之药监总局04
weixin_43682697的博客
03-23 241
您观看课程学习后 免费入群领取【超全Python资料包+17本学习电子书】 讲师：波波老师 曾就职于百度，任爬虫开发工程师 擅长数据分析和爬虫技术，喜欢研究各种爬虫奇淫巧技，专治各种反爬取疑难杂症 课程简介： "信息时代，数据为王，互联网包含了迄今为止最有用的数据集，并且大部分...
Python爬虫从入门到精通:今日作业_requests基础04_爬取药监总局中的企业详情数据_Python涛哥
tao5090694的博客
09-22 322
今日作业：爬取药监总局中的企业详情数据 爬取药监总局中的企业详情数据 url:http://scxk.nmpa.gov.cn:81/xk/ 需求： 将首页中每一家企业详情页对应的数据 每一家企业详情页对应的数据 将前5页企业的数据爬取即可。 难点： 用不到数据解析 所有的数据都是动态加载出来 提示：先试着将一家企业的详情页的详情数据爬取出来，然后再去爬取多家企业的数据 基于抓包工具定位到该ajax请求的数据包，从该数据包中捕获到： 请求的url 请求的方式 请求携带的参数 看到响应数据 代码如下：
【爬虫Practice3】爬取药监总局企业详情
lily_i的博客
12-11 1074
  思路：打开药监总局输入URL爬取的并不能获得全部信息，说明页面存在动态加载 由Ajax请求的 通过抓包查看。通过首页域名+id 可以获得企业详情页的信息 id可以通过首页获取到，验证刚才获得的URL看一下是否是动态加载 看抓包工具 查找数据发现URL得不到 也是动态加载的，多找几个类比一下 观察URL和参数。如何批量获取企业ID？在首页的数据中。 import requests import json from fake_useragent import UserAgent if __name__ =
药监局 selenium
最新发布
09-29
药监局 selenium 是通过使用selenium库来获取药监管理局网站数据的方法之一。通过使用selenium库，可以模拟浏览器行为，实现自动化网页操作，从而获取所需的数据。在使用selenium进行数据获取时，通常需要先配置相应...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值