Python爬取全巨潮社会责任报告年报2024.10.18

介绍:

在这篇文章中,我将介绍一个自动化下载企业社会责任报告的Python脚本,并详细解释其功能和实现过程。代码使用了requests库进行网页请求,使用了pdfplumber库来处理PDF文件,并且使用了pandas来读取Excel文件中的公司信息。这段代码适用于从巨潮资讯网上自动化获取并保存企业的PDF报告文件。

巨潮资讯网址:http://www.cninfo.com.cn

废话不多说,那我们开始吧

第一步:环境配置

import os
import time

import pdfplumber
import requests

第二步:设置请求头和请求参数

    params = {
        'pageNum': 1,
        'pageSize': 30,
        'column': 'szse',
        'tabName': 'fulltext',
        'plate': '',
        'stock':f'{dama}',
        'searchkey': '社会责任',
        'secid':'' ,
        'category':''
Python爬取巨潮网(中国证监会指定上市公司信息披露网站)的年报通常需要几个步骤: 1. **安装必要的库**: 首先,你需要安装`requests`库来发送HTTP请求,以及`BeautifulSoup`库来解析HTML内容。可以使用pip命令行工具安装: ``` pip install requests beautifulsoup4 ``` 2. **定位URL结构**: 查看目标公司年报页面的URL结构,年报一般会按照年份分类。例如,https://www.cninfo.com.cn/companys/hisAnnounce?cmpid=XXX(替换为公司证券代码)。 3. **编写爬虫脚本**: 使用Python编写一个函数,输入公司代码,通过循环遍历年份,构造每个年度报告的链接。示例代码如下: ```python import requests from bs4 import BeautifulSoup def get_annual_report(url_template, company_code): url = url_template.format(company_code) # 发送GET请求 response = requests.get(url) response.raise_for_status() # 检查请求是否成功 # 解析HTML soup = BeautifulSoup(response.text, 'html.parser') # 找到年报链接(这取决于网页的具体结构,可能需要调整) annual_report_links = soup.select('.annual-report-link') # 假设class名是'.annual-report-link' for link in annual_report_links: report_year = link.text.split(' ')[0] # 提取年份 report_url = link['href'] # 获取PDF链接 download_pdf(report_url) def download_pdf(pdf_url): with requests.get(pdf_url, stream=True) as r: r.raise_for_status() filename = f'{company_code}_{report_year}.pdf' # 创建文件名 with open(filename, 'wb') as f: for chunk in r.iter_content(chunk_size=1024): if chunk: # filter out keep-alive new chunks f.write(chunk) # 调用函数,传入公司代码 get_annual_report("https://www.cninfo.com.cn/companys/hisAnnounce?cmpid={}&annNo=&tabName=year", 'your_company_code') ```
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

才华是浅浅的耐心

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值