通过python爬取动态加载的网页数据,并写入pandas用于后面分析

本文介绍如何使用Python爬取化妆品生产许可信息管理系统服务平台上的动态加载数据,通过查找真实URL并发起请求获取数据,然后将数据存入pandas进行后续分析。学习过程受到B站波波老师的指导。
摘要由CSDN通过智能技术生成

通过python爬取动态加载的网页数据,并写入pandas用于后面分析
最近开始学习爬虫,通过博客记录自己的学习成果,在此特别感谢B站的波波老师,B站账号:路飞学城IT
这次爬取的网站是:化妆品生产许可信息管理系统服务平台(http://scxk.nmpa.gov.cn:81/xk/#)
这个网站的数据是动态加载出来的
在这里插入图片描述使用request请求这个网站是得到不了数据的,我们可以通过调出网页的相关代码之后,利用ctrl+f 搜寻网页数据的存放地址
在这里插入图片描述找到真正的可以请求得到的url,对其发起请求可以得到里面的数据,打开这个url对应的相应数据response,我们可以发现需要的数据在里面。

接下来是代码的呈现

import requests
import pandas as pd

url = 'http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList' # 真正需要发起的url
headers = {
   
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:90.0) Gecko/20100101 Firefox/90.0'  #设置请求头
}
df = pd.DataFrame(columns=['企业名称','发证机关','发证日期','有效期至'
  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值