网络爬虫获取东方财富个股研报发布信息

已于 2025-03-18 17:44:41 修改
阅读量266 收藏 3
点赞数 9
分类专栏： 网络爬虫 金融数据 文章标签： 网络爬虫 金融
于 2025-03-18 17:09:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chenkekedou/article/details/146342341
版权

东方财富网的研究报告数据，是进行数据分析以及做量化策略的重要数据来源，本文将用Python实现一个批量获取研报发布数据的网络爬虫，实现步骤如下：

首先打开个股研报发布网址：个股研报

此时网站会弹出一个图片

该图片为遮罩层，会阻止爬虫抓取数据，所以需要先关闭该图片，分析网页源码结构，找到关闭该图片的网页源码

用Python代码实现关闭图片过程：

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import pandas as pd
import time

# 配置
driver_path = 'chromedriver.exe' #注意此处要把chromedriver.exe所在的文件夹路径补全
service = Service(driver_path)
options = webdriver.ChromeOptions()
# options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.5735.198 Safari/537.36")
# options.add_argument('--disable-blink-features=AutomationControlled')  # 绕过浏览器的自动化检测
driver = webdriver.Chrome(service=service, options=options)

# 目标 URL
driver.get("https://data.eastmoney.com/report/stock.jshtml")

try:
    # 等待关闭按钮出现并可点击
    close_button = WebDriverWait(driver, 10).until(
        EC.element_to_be_clickable((By.CSS_SELECTOR, "img[src='https://emcharts.dfcfw.com/fullscreengg/ic_close.png']"))
    )
    # 点击关闭按钮
    close_button.click()
    print("成功关闭遮罩层")
except Exception as e:
    print(f"关闭遮罩层时出错: {e}")

接下来展示研报发布内容，以及对应的网页源码

以下用Python代码实现获取研报发布内容

# 存储数据的字典
data = {
    '序号': [],
    '股票代码': [],
    '股票名称': [],
    '详细链接': [],
    '报告标题': [],
    '评级': [],
    '评级变动': [],
    '机构名称': [],
    '近一月个股研报数': [],
    '2024盈利预测收益': [],
    '2024盈利预测市盈率': [],
    '2025盈利预测收益': [],
    '2025盈利预测市盈率': [],
    '行业': [],
    '日期': []
}

# 设置要爬取的页数
pages_to_crawl = 100

# 爬取指定页数的数据
for page in range(pages_to_crawl):
    try:
        # 等待表格加载完成（至少有一行数据）
        WebDriverWait(driver, 60).until(
            EC.presence_of_element_located((By.XPATH, "//div[@id='stock_table']"))
        )

        # 提取数据
        rows = driver.find_elements(By.XPATH, "//div[@id='stock_table']//tbody/tr")
        for row in rows:
            try:
                # 序号
                serial = row.find_element(By.XPATH, "./td[1]").text.strip()
                # 股票代码
                stock_code = row.find_element(By.XPATH, "./td[2]/a").text.strip()
                # 股票名称
                stock_name = row.find_element(By.XPATH, "./td[3]/a/span").get_attribute("title")
                # 详细链接
                detail_url = row.find_element(By.XPATH, "./td[4]/a[1]").get_attribute("href")
                # 报告标题
                report_title = row.find_element(By.XPATH, "./td[5]/a").text.strip()
                # 评级
                rating = row.find_element(By.XPATH, "./td[6]").text.strip()
                # 评级变动
                rating_change = row.find_element(By.XPATH, "./td[7]").text.strip()
                # 机构名称
                institution = row.find_element(By.XPATH, "./td[8]/a").text.strip()
                # 近一月个股研报数
                research_count = row.find_element(By.XPATH, "./td[9]").text.strip()
                # 2024盈利预测收益
                predict_2024_eps = row.find_element(By.XPATH, "./td[10]").text.strip()
                # 2024盈利预测市盈率
                predict_2024_pe = row.find_element(By.XPATH, "./td[11]").text.strip()
                # 2025盈利预测收益
                predict_2025_eps = row.find_element(By.XPATH, "./td[12]").text.strip()
                # 2025盈利预测市盈率
                predict_2025_pe = row.find_element(By.XPATH, "./td[13]").text.strip()
                # 行业
                industry = row.find_element(By.XPATH, "./td[14]/a").text.strip()
                # 日期
                date = row.find_element(By.XPATH, "./td[15]").text.strip()

                # 存入字典
                data['序号'].append(serial)
                data['股票代码'].append(stock_code)
                data['股票名称'].append(stock_name)
                data['详细链接'].append(detail_url)
                data['报告标题'].append(report_title)
                data['评级'].append(rating)
                data['评级变动'].append(rating_change)
                data['机构名称'].append(institution)
                data['近一月个股研报数'].append(research_count)
                data['2024盈利预测收益'].append(predict_2024_eps)
                data['2024盈利预测市盈率'].append(predict_2024_pe)
                data['2025盈利预测收益'].append(predict_2025_eps)
                data['2025盈利预测市盈率'].append(predict_2025_pe)
                data['行业'].append(industry)
                data['日期'].append(date)

            except Exception as e:
                print(f"解析行时出错: {e}")
                continue

为了抓取更多数据，必须实现翻页功能，如下：

对应的网页源码如下：

用Python实现点击“下一页”实现翻页功能如下：

# 点击下一页
        if page < pages_to_crawl - 1:  # 最后一页不点击下一页
            next_page_button = WebDriverWait(driver, 10).until(
                EC.element_to_be_clickable((By.XPATH, "//div[@class='pagerbox']/a[contains(text(), '下一页')]"))
            )
            next_page_button.click()
            time.sleep(2)  # 等待页面加载

最后把网页获取到的数据保存到report_data.xlsx文件

下面将完整代码奉上：

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import pandas as pd
import time

# 配置
driver_path = 'chromedriver.exe' #注意此处要把chromedriver.exe所在的文件夹路径补全
service = Service(driver_path)
options = webdriver.ChromeOptions()

# options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.5735.198 Safari/537.36")
# options.add_argument('--disable-blink-features=AutomationControlled')  # 绕过浏览器的自动化检测
driver = webdriver.Chrome(service=service, options=options)

# 目标 URL
driver.get("https://data.eastmoney.com/report/stock.jshtml")

try:
    # 等待关闭按钮出现并可点击
    close_button = WebDriverWait(driver, 10).until(
        EC.element_to_be_clickable((By.CSS_SELECTOR, "img[src='https://emcharts.dfcfw.com/fullscreengg/ic_close.png']"))
    )
    # 点击关闭按钮
    close_button.click()
    print("成功关闭遮罩层")
except Exception as e:
    print(f"关闭遮罩层时出错: {e}")

# 存储数据的字典
data = {
    '序号': [],
    '股票代码': [],
    '股票名称': [],
    '详细链接': [],
    '报告标题': [],
    '评级': [],
    '评级变动': [],
    '机构名称': [],
    '近一月个股研报数': [],
    '2024盈利预测收益': [],
    '2024盈利预测市盈率': [],
    '2025盈利预测收益': [],
    '2025盈利预测市盈率': [],
    '行业': [],
    '日期': []
}

# 设置要爬取的页数
pages_to_crawl = 100

# 爬取指定页数的数据
for page in range(pages_to_crawl):
    try:
        # 等待表格加载完成（至少有一行数据）
        WebDriverWait(driver, 60).until(
            EC.presence_of_element_located((By.XPATH, "//div[@id='stock_table']"))
        )

        # 提取数据
        rows = driver.find_elements(By.XPATH, "//div[@id='stock_table']//tbody/tr")
        for row in rows:
            try:
                # 序号
                serial = row.find_element(By.XPATH, "./td[1]").text.strip()
                # 股票代码
                stock_code = row.find_element(By.XPATH, "./td[2]/a").text.strip()
                # 股票名称
                stock_name = row.find_element(By.XPATH, "./td[3]/a/span").get_attribute("title")
                # 详细链接
                detail_url = row.find_element(By.XPATH, "./td[4]/a[1]").get_attribute("href")
                # 报告标题
                report_title = row.find_element(By.XPATH, "./td[5]/a").text.strip()
                # 评级
                rating = row.find_element(By.XPATH, "./td[6]").text.strip()
                # 评级变动
                rating_change = row.find_element(By.XPATH, "./td[7]").text.strip()
                # 机构名称
                institution = row.find_element(By.XPATH, "./td[8]/a").text.strip()
                # 近一月个股研报数
                research_count = row.find_element(By.XPATH, "./td[9]").text.strip()
                # 2024盈利预测收益
                predict_2024_eps = row.find_element(By.XPATH, "./td[10]").text.strip()
                # 2024盈利预测市盈率
                predict_2024_pe = row.find_element(By.XPATH, "./td[11]").text.strip()
                # 2025盈利预测收益
                predict_2025_eps = row.find_element(By.XPATH, "./td[12]").text.strip()
                # 2025盈利预测市盈率
                predict_2025_pe = row.find_element(By.XPATH, "./td[13]").text.strip()
                # 行业
                industry = row.find_element(By.XPATH, "./td[14]/a").text.strip()
                # 日期
                date = row.find_element(By.XPATH, "./td[15]").text.strip()

                # 存入字典
                data['序号'].append(serial)
                data['股票代码'].append(stock_code)
                data['股票名称'].append(stock_name)
                data['详细链接'].append(detail_url)
                data['报告标题'].append(report_title)
                data['评级'].append(rating)
                data['评级变动'].append(rating_change)
                data['机构名称'].append(institution)
                data['近一月个股研报数'].append(research_count)
                data['2024盈利预测收益'].append(predict_2024_eps)
                data['2024盈利预测市盈率'].append(predict_2024_pe)
                data['2025盈利预测收益'].append(predict_2025_eps)
                data['2025盈利预测市盈率'].append(predict_2025_pe)
                data['行业'].append(industry)
                data['日期'].append(date)

            except Exception as e:
                print(f"解析行时出错: {e}")
                continue

        # 点击下一页
        if page < pages_to_crawl - 1:  # 最后一页不点击下一页
            next_page_button = WebDriverWait(driver, 10).until(
                EC.element_to_be_clickable((By.XPATH, "//div[@class='pagerbox']/a[contains(text(), '下一页')]"))
            )
            next_page_button.click()
            time.sleep(2)  # 等待页面加载

    except Exception as e:
        print(f"爬取第 {page + 1} 页时出错: {e}")
        break

# 转换为 DataFrame
df = pd.DataFrame(data)
df.to_excel(r".\report_data.xlsx", index=False)

# 关闭浏览器
driver.quit()
使用Python爬虫抓取股票公司公告与财报数据
2201_76125261的博客
12-09 1125
requests：发送HTTP请求获取网页内容。：解析HTML，提取公告和财报中的信息。Selenium：抓取动态加载的页面，尤其是使用JavaScript生成的内容。pandas：用于数据清洗、存储与分析。SQLAlchemy：将数据存储到数据库中，以便后续的查询与分析。lxml：用于高效解析HTML和XML。通过这些技术，本文将展示如何抓取各大股票交易所（如A股、港股和美股）的公司公告、财报以及其他关键信息。本文详细介绍了如何使用Python爬虫技术抓取股票公司发布的公告和财报数据。
Python 爬虫实战：在东方财富网抓取股票行情数据，辅助投资决策
最新发布
u014481728的博客
02-01 4479
通过本文的 Python 爬虫实战，我们成功抓取了东方财富网的股票行情数据，并进行了数据分析和可视化。通过爬虫技术，我们可以快速获取大量的股票行情数据，通过数据分析，可以洞察股票市场的动态和趋势，辅助投资决策。在实际应用中，可以根据需求进一步扩展爬虫功能，例如抓取更多维度的数据、进行更深入的数据挖掘和分析等。
纯小白Python爬取东方财富网研报内容并通过机器学习的SVM模型进行文本分析（四）
qq_43826034的博客
05-31 6170
学习了爬虫基础、编码、正则表达式、selenium库之后，就可以正式进行我们的爬取了 一、爬取研报链接 # -*- coding:utf-8 -*- import time from selenium import webdriver#selenium库需要环境配置 import pandas as pd date=[] rating=[] rating_change=[] institut...
利用python爬取工作报告
weixin_52260515的博客
11-11 2239
利用python爬取工作报告
Python爬虫实战(基础篇)—15获取东方财富网股票数据—写入csv（附完整代码）
weixin_42636075的博客
04-10 6501
Python爬虫实战(基础篇)—15获取东方财富网股票数据—写入csv（附完整代码）
Python爬虫实战之萝卜投研
geobuins的博客
01-06 1693
本次要爬取的网站为*萝卜投研*，是利用人工智能、大数据、移动应用技术,建立的股票基本面分析智能投研平台，在进行投资交易的时候可以使用期研报与各类数据进行分析。Scrapy是一个为了爬取网站数据，提取结构性数据编写的爬虫框架，只需要很少的代码就可以完成相关数据的抓取。Scrapy是一个使用了Twisted的异步网络框架，可以大大提高我们的下载速度。抓包工具是拦截查看网络数据包内容的软件。通过对抓获的数据包进行分析，可以得到有用的信息。Postman是一种网页调试与发送网页http请求的chrome插件。
爬虫笔记——东方财富科创板数据爬取（selenium方法）
wang_zuel的博客
07-20 4021
爬虫笔记——东方财富科创板数据爬取（selenium）网站观察 selenium方式爬取 优点：无需观察网站去查找数据来源 缺点：速度较requests方法更慢 网站观察 网址：东方财富科创板数据 =========================================================== ========================================...
东方财富网的爬虫源案例
03-11
本文将详细介绍如何编写爬虫程序，从东方财富网获取所需的数据。 首先，我们要理解爬虫的基本原理。爬虫是一种自动浏览网页并提取有用信息的程序。它通过模拟浏览器发送HTTP请求到服务器，然后解析返回的HTML页面，...
python获取东方财富个股资金流入流出
12-11
东方财富网是中国重要的金融市场信息平台，提供了丰富的股票交易信息，包括个股的资金流向数据。利用Python进行网络数据爬取是获取此类信息的一种有效手段。 Python是一种高级编程语言，它提供了一系列方便的工具和...
东方财富网python 爬虫
11-26
从百度股票爬取个股信息，将结果存储到文件中。 (1) 从东方财富网http://quote.eastmoney.com/stocklist.html抓取所有的股票代码。 (2)分 析 百 度 股 票 中 个 股 的 网 址 构 成 为 ：...
研报抓取样例
01-20
R语言抓取研报示例，供大家参考。包括相关研究报告的评级，推荐时间，股票代码以及研究报告的文本
东方财富网各大上市公司研报下载.py
11-05
在东方财富网上爬取各大上市公司的近年来的所有研报，并下载至本地。需要添加一个txt文档，里面保存各上市公司代码，格式为600001，600003……。
Python爬取东方财富公司公告
03-12
本案例主要探讨如何使用Python配合Selenium库来爬取东方财富网上的公司公告信息。东方财富作为知名的金融信息服务提供商，其网站上包含丰富的公司公告数据，对投资者和研究人员来说极具价值。 首先，我们来了解...
python爬虫
weixin_30338497的博客
03-04 329
这周学了一下利用python进行爬虫，因为只是为了提取数据，所以代码很粗糙，爬了一下同花顺财经、新浪财经和东方财富网中每一只股票的新闻以及研报 # -*- coding: utf-8 -*- import urllib.request,re,time,random,gzip from bs4 import BeautifulSoup def get_stock_code(): ...
Python爬虫案例：简单获取股票、指数、三大报表数据
celiaweiwei的博客
07-22 8929
爬取股票、指数和三大报表数据的目的和意义在于获取金融市场和上市公司的实时和历史数据，以供进一步分析、研究和决策。通过爬取股票数据，我们可以追踪股票价格的变化和波动，识别潜在的投资机会和风险，从而进行有效的股票交易。爬取指数数据可以帮助我们了解整个市场的走势和表现，监测市场整体风险和趋势，为资产配置和投资决策提供重要参考。
[Python爬虫]爬取东方财富网公司公告需要注意的几个问题
北望花村
04-23 7790
在上一篇文章中，以爬取东方财富网公司公告为例，介绍了如何爬取利用ajax加载的网页，以及如何模拟翻页。但是，在实际应用的过程中，发现了一些问题。接下来就来一一分析解决。 问题一、公告数量过多，后面的公告无法爬取。 比如说，公告的页面数量是大于1000的，但是，我们最多只能看到1000页。那么，如果想要爬取更多的页面应该怎么办呢？ 我这里有一个思路，就是先获取所有股票的id，根据股票的id来遍
【Python爬虫实战】1.爬取A股上市公司年报链接并存入Excel
热门推荐
凌小添的博客
04-04 1万+
如何用100行代码实现对上市公司年报链接的爬取，简单上手，附源码。
简单爬虫：东方财富网股票数据爬取(20231230)
weixin_54500866的博客
12-31 8326
可以看到返回的文件中，data后为null，因此，在每个板块循环爬取时，只要碰到页码的返回文件中data的内容为null时，则停止爬取当前板块。同时由于返回文件中，data后的内容是以null变量的形式展示的，我们需要定义一个变量null，否则会出现报错NameError: name 'null' is not defined。查看网页源代码发现并没有目标数据，因此需要对网页进行抓包分析，查看哪个文件里包含目标数据，打开开发者模式（F12），找到目标文件。首先查看url，获取沪京深A股的第一页数据。
东财网个股研报爬虫：Scrapy-Selenium实现与数据导出指南
本爬虫主要用于爬取东方财富网上的个股研报信息，包括个股研报标题、个股信息以及收益等。 知识点3: 运行环境 爬虫的运行环境为Windows 10专业版，使用Python 3.5版本，Scrapy 1.5.0版本，以及MongoDB 3.4.7版本。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值