利用python爬取东方财富网股吧评论并进行情感分析（一）

最新推荐文章于 2025-04-25 21:39:39 发布
最新推荐文章于 2025-04-25 21:39:39 发布
阅读量1.6w 收藏 190
点赞数 34
文章标签： python 大数据 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YMG521000/article/details/114820502
版权
本文介绍了使用Python爬取东方财富网股吧评论的过程，包括分析网页源代码，识别数据标签，以及获取每个股吧页面的评论并保存到Excel。尽管遇到标题内容不全的问题，但通过详细页爬取得到了完整数据。作者是一名金融专业的研究生，学习爬虫进行项目研究，后续计划进行情感分析。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

利用python爬取东方财富网股吧评论（一）

python-东方财富网贴吧文本数据爬取

分享一下写论文时爬数据用到的代码，有什么问题或者改善的建议的话小伙伴们一起评论区讨论。涉及内容在前人的研究基础之上，探索适合自己一些知识点，本人非计算机专业，金融专业，学习爬虫用于项目研究，以此发表供大家学习与指点。

一、论文说明

论文需求：股吧中人们发表的评论和创业板股市价格波动
数据来源：东方财富网创业板股吧
数据标签：阅读、评论、标题、作者、更新时间，
实现功能：读取每个股吧的全部页面的评论并写入excel表中

二、实施过程

1.明确评论数据

我们需要爬取的是东方财富吧中全部发帖信息的阅读、评论、标题、作者及最后更新时间这五个字段的数据，我一开始想也不是很难，解析一下网页匹配一下对应的标签值就可以了，但后面还是出现了各种各样的问题，需要大家留意。

2.查看网页源代码结构
① 网页源代码
首先打开网页的开发者工具（右击-检查）或者右击网页源代码，在源代码中查找对应字段的标签。
以下是大多数学者的分析：

最低0.47元/天 解锁文章
案例2：东方财富股吧文本分析----code模块封装命令行运行版
爱数据爱统计
05-06 973
模块化使得代码可以被多个程序和项目共同使用，如果需要多次使用相同的代码，只需要将代码保存在一个模块中，然后在需要的地方导入即可。从而提高了代码的可重用性，减少了重复开发的工作。：模块化将代码分解为更小、更容易理解的组件，可以更容易地理解每个模块所做的工作，使得代码更加清晰易懂，提高代码的可读性。：模块化使得代码更加模块化、组合和重用，从而降低了代码的复杂度，避免了代码过于臃肿和混乱。：模块化将代码分解为更小的组件，可以更容易地编写单元测试，使得测试和调试变得更加容易，以确保每个模块都按照预期工作。
爬取东方财富股吧中评论数据
liu_1314521的博客
10-12 8863
东方财富股吧是有反爬取机制的，我们通过减慢爬取速率的方法来避免爬取检测。这种方法爬取网页数据的速率很慢，并不会对网站的访问造成影响，当然我们可以改进方法，使得爬取数据更快。但并不鼓励大家非法爬取数据，只用作学习交流。 直接上代码吧： import requests from bs4 import BeautifulSoup import time import random import csv # 导入CSV安装包 #f = open('test.csv', 'w', encoding='utf-8'
Python数据分析案例72——基于股吧评论数据的情感分析和主题建模(LDA)
最新发布
weixin_46277779的博客
04-25 1364
股吧的评论数据，对文本进行情感分析，主题分析，聚类分组聚合，中文分词，词向量化，LDA主题建模分析
运用python爬取股票的股吧评论、新闻报道（附完整代码）
qq_45856698的博客
02-28 6419
当前，文本信息挖掘十分火热，文本信息挖掘作为一个新的数据挖掘领域，其目的在于把文本信息转化为人可利用的知识，而获取文本信息是文本信息挖掘工作中最重要、最首要的关键一环，那么如何快速、高效、批量地获取文本信息呢？那当然要提到今天的主角"爬虫"啦！下面介绍如何利用Python爬取每支股票对应的股吧评论、新闻公告，所爬取网站为某财富网站。
python爬虫股票市盈率是什么意思_神级的爬虫工程师用Python教你爬取全站股票评论！买哪只有底呢！...
weixin_42284052的博客
01-13 462
爬取思路是这样的，先挖取所有股票的代码，放进数据库，然后根据股票代码爬取每一只股票的评论，多了，一定要加入代理池，我这里用的上上一篇文章写的代理池，我们给每个股票代码赋予一个状态值，一开始是outstanding，也就是1.如图嗯！当一个所有初始的股票状态都为outstanding；当开始爬取的时候状态改为：processing；爬取完成状态改为：complete；失败的股票重置状态为：outst...
python 爬取东方财富股吧论坛个股评论信息
ahjxhy2010的博客
12-06 4224
import os import re import sys import urllib import urllib.request#在python3.x中没有urllib2，必须使用此语句 from urllib import request from bs4 import BeautifulSoup import requests #Beautiful Soup是一个...
爬取股吧评论（东方财经网）
LIFECadilos的博客
05-31 2549
本文使用MySQL数据库，平台用的DBeaver与python进行股吧数据爬取，由于网站的反爬虫机制，本文章添加了随机用户代理与随机延时，但在爬取五六十页后，爬虫页面会变换，基本为方正证卷吧，如果页面变换，过一个小时之后在爬。
爬虫项目-爬取股吧（东方财富）评论
weixin_45056021的博客
11-05 5379
5.完整代码如下所示，在修改第二步之后是可以直接运行的，如果不能成功运行可以下面评论，或者私聊我，我会帮你解答。
东方财富股票评论数据 Python爬虫代码Scrapy框架
03-12
在IT行业中，网络爬虫是获取大量数据的重要...通过以上步骤，我们可以构建一个完整的股票评论数据爬虫，利用Scrapy的强大功能和Python的NLP工具，有效地收集和分析东方财富网的评论数据，为投资决策提供有价值的信息。
东方财富网股吧爬虫.zip
03-01
其主要功能是访问网页、提取数据并存储，以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤： URL收集： 爬虫从一个或多个初始...
股吧评论抓取及分析
01-27
python 实现股吧评论抓取及分析
爬取东方财富股吧标题.py
03-11
爬取东方财富股吧标题的python代码
python爬虫爬取股票评论，调用百度AI进行语义分析， matlab数据处理，股票涨跌和评论的关系
03-22
python爬虫爬取股票评论， 调用百度AI进行语义分析， matlab数据处理， excel作图 股票涨跌和评论的关系
Python爬虫股票评论
03-17
股民是网络用户的一大群体，他们的网络情绪在一定程度上反映了该股票的情况，也反映了股市市场的波动情况。作为一只时间充裕的研究僧，我课余时间准备写个小代码get一下股民的评论数据，分析以下用户情绪的走势。
根据传入的股票代码到东方财富网旗下的股吧对应的某股票分论坛爬取当天的用户评论信息，并将爬取的数据存储到MySQL中，之后再将数据进行统计并计算出该股票当天的市场
07-08
第三方库：snownlp、tushare、pandas、numpy、matplotlib getData：从东方财富网旗下的股吧论坛爬取数据 SQL：用到的数据库操作函数 quantilizeSentiment：量化情绪指数，生成excel文件便于后面进行情绪指数和股票价格涨幅相关度的量化分析（股票价格历史数据来自tusharepro网站，可以免费获取） result：传入某只股票代码，返回情绪指数结果（主要关注此文件即可，其他爬虫分析之类的我后面放到云上，爬取的数据都放入云数据库中） analyze：进行情绪指数和股票价格涨幅相关度分析、数据可视化 爬取后的数据存储在云端数据库中： db = pymysql.connect(host="116.62.46.214",user="dfcf",password="iJHPFZnRjXacNi6p",db="dfcf",port=3306) 接口说明（重点！！！）： 函数： def data(share_code):#计算情绪指数 传参：share_code 股票代码（例如：zssh000001）上证指数 返回参数：result 情绪指数 例如： if __name__ == '__main__': result=data('zssh000001') #传入股票代码参数 print(result) #打印情绪指数结果 实现功能：根据传入的股票代码到东方财富网旗下的股吧对应的某股票分论坛爬取当天的用户评论信息，并将爬取的数据存储到MySQL中，之后再将数据进行统计并计算出该股票当天的市场情感趋势。 执行流程 1、输入股票代码 2、清空数据库上一天的评论信息 3、使用爬虫爬取当天东方财富网股吧论坛中该股票的股民评论信息并进行数据清洗过滤，筛选出有效信息，存入MySQL数据库 4、使用金融情感计算模型进行文本数据分析 5、得出该股票当日的情绪指数 6、返回情绪指数值 计算情绪指数具体算法实现 借助自然语言处理中的情感分类技术。按照正常的处理流程，需要搭建模型、准备语料库、训练模型、测试模型然后得到一个情感分类的模型。但这里，时间有限，所以直接使用现有的模型。snownlp是一个中文的开源的自然语言处理的Python库，可以进行分词、情感分类等。在本项目中可以直接使用它来量化出某一日市场投资者的整体情绪。量化的方法有许多种，可以将某一日所有的评论情绪得分得分相加再求评价，也可以求某一日情绪得分大于0.5的评论所占的比例。 项目所采用的方法： 将情绪得分>0.6的评论当作积极评论，小于0.4的评论当作消极评论。 设置变量neg和pos，存储某一日市场的积极情绪因子和消极情绪因子。关于neg和pos的计算方法，以neg为例： 初始化为0，若某一日的某一评论comment的情绪得分<0.4 neg=neg+1+log（该条评论的点赞数+该条评论作者的粉丝数+1，2），其中log（x,2)表示以2为低的x的对数。考虑该条评论的点赞数和该条评论作者的粉丝数是因为考虑到不同的评论的质量不同。取对数是为了让数据更加平滑，防止极值过大。+1是为了防止该条评论的点赞数和该条评论作者的粉丝数都为0。 计算某一日市场的总体情绪得分score。设计的模型是： score=log((pos/(pos+neg+0.0001)-0.5)*(该日评论总数+1)) (pos/(pos+neg+0.0001)-0.5)的意思是计算市场的情绪倾向，**大于0表明市场积极情绪情绪较强，越接近0.5越强。小于0反之。**后面的(该日评论总数+1)，是因为某一日投资者的评论越多，代表市场投资者情绪的波动越大。
【无标题】爬取东方财富股股票股民评论
weixin_44428240的博客
12-16 541
`crawler.py` : 爬虫主体，包含了 `PostCrawler` 和 `CommentCrawler` 两个类，负责抓取帖子和评论的信息。- `parser.py` : 解析器，包含了 `PostParser` 和 `CommentParser` 两个类，负责解析帖子和评论的网页源码。- `mongodb.py` : 数据库接口，包含了 `MongoAPI` 类，负责建立与本地数据库的连接并实现基础操作。这两行代码是注释掉的示例，展示了如何用日期范围来爬取评论信息，展示了如何根据。
python爬虫-股吧
weixin_44822403的博客
08-14 754
import requests from bs4 import BeautifulSoup import time headers={ "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36" } def parse_onepage(page): global count
后台记录
赫兹焦耳的博客
03-09 605
后台记录后台mysql功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 后台 mysql 今天遇到了一个同事写的代码 I...
python爬取东方财富股吧评论
01-08
### 使用 Python 实现东方财富网股吧评论的数据抓取 为了从东方财富网股吧获取评论数据，可以采用 `requests` 和 `BeautifulSoup` 库来简化网页请求和解析过程。下面是一个完整的例子展示如何完成这一操作。 #### 安装依赖库 首先安装所需的第三方模块： ```bash pip install requests beautifulsoup4 lxml ``` #### 编写爬虫代码 接下来是一份用于抓取指定股票页面上最新帖子列表及其链接的脚本： ```python import requests from bs4 import BeautifulSoup def fetch_guba_comments(stock_code='603121', page=1): url = f'http://guba.eastmoney.com/list,{stock_code},f_{page}.html' headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 " "(KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" } response = requests.get(url=url, headers=headers) soup = BeautifulSoup(response.text, 'lxml') articles = [] article_list = soup.find_all('div', attrs={'class': 'articleh'}) for item in article_list: try: title_tag = item.select_one('.l3>a') reply_count = int(item.select_one('.l2').text.strip()) if not title_tag or reply_count == 0: continue link = 'http://guba.eastmoney.com' + title_tag['href'] title = title_tag.text articles.append({ 'title': title, 'link': link, 'replyCount': reply_count }) except Exception as e: print(f"Error processing {item}: ", str(e)) return articles if __name__ == '__main__': stock_id = input("请输入要查询的股票代码:") comments = fetch_guba_comments(stock_code=stock_id) for comment in comments[:min(5, len(comments))]: print(comment) ``` 此段代码定义了一个名为 `fetch_guba_comments()` 的函数，它接受两个参数：一个是目标股票的编号，默认设置为 `'603121'`; 另外一个是页码数，默认为抓取第一页的内容[^1]。 该函数会返回一个字典组成的列表，其中包含了每篇文章的标题、回复数量以及文章的具体网址。最后，在主程序部分调用了这个函数并打印出了前五条记录作为示例输出[^2]。 需要注意的是，实际应用时应当遵循网站的服务条款，并考虑加入适当的延时机制以减轻服务器负担；此外还可以进一步扩展功能比如保存到数据库或者文件中等[^3]。
评论 56
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值