教你用Python爬虫股票评论，简单分析股民用户情绪-CSDN博客

本文介绍如何使用Python爬虫获取东方财富网的股票评论数据，并通过snowNLP进行简单的情感分析，以此反映股民情绪与股市波动。文章还展示了前端数据的可视化，使用echarts绘制情绪与股价走势。

摘要由CSDN通过智能技术生成

一、背景

股民是网络用户的一大群体，他们的网络情绪在一定程度上反映了该股票的情况，也反映了股市市场的波动情况。作为一只时间充裕的研究僧，我课余时间准备写个小代码get一下股民的评论数据，分析用户情绪的走势。代码还会修改，因为结果不准确，哈哈！

二、数据来源

本次项目不用于商用，数据来源于东方财富网，由于物理条件，我只获取了一只股票的部分评论，没有爬取官方的帖子，都是获取的散户的评论。

三、数据获取

Python是个好工具，这次我使用了selenium和PhantomJS组合进行爬取网页数据，当然还是要分析网页的dom结构拿到自己需要的数据。

爬虫部分：

from selenium import webdriver  

import time  

import json  

import re    

# from HTMLParser import HTMLParser   

from myNLP import *  

# from lxml import html  

# import requests  

class Crawler:  

   url = ''  

   newurl = set()  

   headers = {}  

   cookies = {}  

   def __init__(self, stocknum, page):  

       self.url = 'http://guba.eastmoney.com/list,'+stocknum+',5_'+page+'.html'  

       cap = webdriver.DesiredCapabilities.PHANTOMJS  

       cap["phantomjs.page.settings.resourceTimeout"] = 1000  

       #cap["phantomjs.page.settings.loadImages"] = False  

       #cap["phantomjs.page.settings.localToRemoteUrlAccessEnabled"] = True  

       self.driver = webdriver.PhantomJS(desired_capabilities=cap)  

   def crawAllHtml(self,url):  

       self.driver.get(url)  

       time.sleep(2)  

#         htmlData = requests.get(url).content.decode('utf-8')  

#         domTree = html.fromstring(htmlData)  

#         return domTree  

   def getNewUrl(self,url):  

       self.newurl.add(url)  

   def filterHtmlTag(self, htmlStr):  

       self.htmlStr = htmlStr    

       #先过滤CDATA    

       re_cdata=re.compile('//<!CDATA

[>]∗//

>',re.I) #匹配CDATA    

       re_script