利用python爬取东方财富网股吧评论并进行情感分析（一）

最新推荐文章于 2025-02-21 23:42:03 发布
最新推荐文章于 2025-02-21 23:42:03 发布
阅读量1.6w 收藏 190
点赞数 34
文章标签： python 大数据 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YMG521000/article/details/114820502
版权
本文介绍了使用Python爬取东方财富网股吧评论的过程，包括分析网页源代码，识别数据标签，以及获取每个股吧页面的评论并保存到Excel。尽管遇到标题内容不全的问题，但通过详细页爬取得到了完整数据。作者是一名金融专业的研究生，学习爬虫进行项目研究，后续计划进行情感分析。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

利用python爬取东方财富网股吧评论（一）

python-东方财富网贴吧文本数据爬取

分享一下写论文时爬数据用到的代码，有什么问题或者改善的建议的话小伙伴们一起评论区讨论。涉及内容在前人的研究基础之上，探索适合自己一些知识点，本人非计算机专业，金融专业，学习爬虫用于项目研究，以此发表供大家学习与指点。

一、论文说明

论文需求：股吧中人们发表的评论和创业板股市价格波动
数据来源：东方财富网创业板股吧
数据标签：阅读、评论、标题、作者、更新时间，
实现功能：读取每个股吧的全部页面的评论并写入excel表中

二、实施过程

1.明确评论数据

我们需要爬取的是东方财富吧中全部发帖信息的阅读、评论、标题、作者及最后更新时间这五个字段的数据，我一开始想也不是很难，解析一下网页匹配一下对应的标签值就可以了，但后面还是出现了各种各样的问题，需要大家留意。

2.查看网页源代码结构
① 网页源代码
首先打开网页的开发者工具（右击-检查）或者右击网页源代码，在源代码中查找对应字段的标签。
以下是大多数学者的分析：

最低0.47元/天 解锁文章
爬虫（一）：东方财富股吧评论
weixin_55857249的博客
07-14 7110
** 爬虫（一）：用Python获取东方财富股吧评论 ** 尝试爬虫，因为需要选择了东方财富股吧，需要的小伙伴可以一起来学习，首先声明一下，本人也是从b站学来了，第一次就是照葫芦画瓢，有样学样获取的。首先附一下视频连接吧，有需要的可以去看详细内容哦~ https://www.bilibili.com/video/BV1oz4y1Z7pt?from=search&seid=12230486286090734478 库 需要用到的库有：etree，requests，pandas requests：获取网
爬取东方财富股吧中评论数据
liu_1314521的博客
10-12 8804
东方财富股吧是有反爬取机制的，我们通过减慢爬取速率的方法来避免爬取检测。这种方法爬取网页数据的速率很慢，并不会对网站的访问造成影响，当然我们可以改进方法，使得爬取数据更快。但并不鼓励大家非法爬取数据，只用作学习交流。 直接上代码吧： import requests from bs4 import BeautifulSoup import time import random import csv # 导入CSV安装包 #f = open('test.csv', 'w', encoding='utf-8'
简单配置采集东方财富网股吧的评论
zhou6343178的博客
08-05 889
集蜂云平台的开发者提供了东方财富网股吧评论采集器，通过配置股票代码就可以采集该股票下的最新评论，非常的快捷方便。
Web自动化之Selenium实战案例2：东方财富网股吧评论爬取
最新发布
weixin_73953650的博客
02-21 532
1.开发者工具定位爬取内容在源代码中区域。2.使用合适的合适的selenium定位方式定位爬取内容。3.选择合适的等待机制与异常处理机制(可能非必须)。4.根据爬取内容的特性,选择适当的处理方式:对于文字内容,我们通常使用text属性获取其文字内容。总重要的是,所有的操作必须要考虑到各种情况,并且合乎逻辑!
爬取股吧评论（东方财经网）
LIFECadilos的博客
05-31 2527
本文使用MySQL数据库，平台用的DBeaver与python进行股吧数据爬取，由于网站的反爬虫机制，本文章添加了随机用户代理与随机延时，但在爬取五六十页后，爬虫页面会变换，基本为方正证卷吧，如果页面变换，过一个小时之后在爬。
运用python爬取股票的股吧评论、新闻报道（附完整代码）
qq_45856698的博客
02-28 6359
当前，文本信息挖掘十分火热，文本信息挖掘作为一个新的数据挖掘领域，其目的在于把文本信息转化为人可利用的知识，而获取文本信息是文本信息挖掘工作中最重要、最首要的关键一环，那么如何快速、高效、批量地获取文本信息呢？那当然要提到今天的主角"爬虫"啦！下面介绍如何利用Python爬取每支股票对应的股吧评论、新闻公告，所爬取网站为某财富网站。
python爬虫股票市盈率是什么意思_神级的爬虫工程师用Python教你爬取全站股票评论！买哪只有底呢！...
weixin_42284052的博客
01-13 458
爬取思路是这样的，先挖取所有股票的代码，放进数据库，然后根据股票代码爬取每一只股票的评论，多了，一定要加入代理池，我这里用的上上一篇文章写的代理池，我们给每个股票代码赋予一个状态值，一开始是outstanding，也就是1.如图嗯！当一个所有初始的股票状态都为outstanding；当开始爬取的时候状态改为：processing；爬取完成状态改为：complete；失败的股票重置状态为：outst...
python 爬取东方财富股吧论坛个股评论信息
ahjxhy2010的博客
12-06 4212
import os import re import sys import urllib import urllib.request#在python3.x中没有urllib2，必须使用此语句 from urllib import request from bs4 import BeautifulSoup import requests #Beautiful Soup是一个...
爬虫项目-爬取股吧（东方财富）评论
weixin_45056021的博客
11-05 5286
5.完整代码如下所示，在修改第二步之后是可以直接运行的，如果不能成功运行可以下面评论，或者私聊我，我会帮你解答。
python爬虫-股吧
weixin_44822403的博客
08-14 746
import requests from bs4 import BeautifulSoup import time headers={ "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36" } def parse_onepage(page): global count
东方财富股票评论数据 Python爬虫代码Scrapy框架
03-12
批量爬取股票评论文本数据，包含大量的情感数据，以共分析
股吧评论抓取及分析
01-27
python 实现股吧评论抓取及分析
爬取东方财富股吧标题.py
03-11
爬取东方财富股吧标题的python代码
python爬虫爬取股票评论，调用百度AI进行语义分析， matlab数据处理，股票涨跌和评论的关系
03-22
python爬虫爬取股票评论， 调用百度AI进行语义分析， matlab数据处理， excel作图 股票涨跌和评论的关系
Python爬虫股票评论
03-17
股民是网络用户的一大群体，他们的网络情绪在一定程度上反映了该股票的情况，也反映了股市市场的波动情况。作为一只时间充裕的研究僧，我课余时间准备写个小代码get一下股民的评论数据，分析以下用户情绪的走势。
东方财富网股吧爬虫.zip
03-01
其主要功能是访问网页、提取数据并存储，以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤： URL收集： 爬虫从一个或多个初始...
【无标题】爬取东方财富股股票股民评论
weixin_44428240的博客
12-16 536
`crawler.py` : 爬虫主体，包含了 `PostCrawler` 和 `CommentCrawler` 两个类，负责抓取帖子和评论的信息。- `parser.py` : 解析器，包含了 `PostParser` 和 `CommentParser` 两个类，负责解析帖子和评论的网页源码。- `mongodb.py` : 数据库接口，包含了 `MongoAPI` 类，负责建立与本地数据库的连接并实现基础操作。这两行代码是注释掉的示例，展示了如何用日期范围来爬取评论信息，展示了如何根据。
根据传入的股票代码到东方财富网旗下的股吧对应的某股票分论坛爬取当天的用户评论信息，并将爬取的数据存储到MySQL中，之后再将数据进行统计并计算出该股票当天的市场
07-08
3、使用爬虫爬取当天东方财富网股吧论坛中该股票的股民评论信息并进行数据清洗过滤，筛选出有效信息，存入MySQL数据库 4、使用金融情感计算模型进行文本数据分析 5、得出该股票当日的情绪指数 6、返回情绪指数值 ...
python爬取东方财富股吧评论
01-08
### 使用 Python 实现东方财富网股吧评论的数据抓取 为了从东方财富网股吧获取评论数据，可以采用 `requests` 和 `BeautifulSoup` 库来简化网页请求和解析过程。下面是一个完整的例子展示如何完成这一操作。 #### ...
评论 56
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值