python爬取股票评论_Python爬虫股票评论，snowNLP简单分析股民用户情绪

原标题：Python爬虫股票评论，snowNLP简单分析股民用户情绪

一、背景

股民是网络用户的一大群体，他们的网络情绪在一定程度上反映了该股票的情况，也反映了股市市场的波动情况。作为一只时间充裕的研究僧，我课余时间准备写个小代码get一下股民的评论数据，分析以下用户情绪的走势。代码还会修改，因为结果不准确，哈哈！

二、数据来源

本次项目不用于商用，数据来源于东方财富网，由于物理条件，我只获取了一只股票的部分评论，没有爬取官方的帖子，都是获取的散户的评论。

三、数据获取

Python是个好工具，这次我使用了selenium和PhantomJS组合进行爬取网页数据，当然还是要分析网页的dom结构拿到自己需要的数据。

爬虫部分：

fromselenium importwebdriver

importtime

importjson

importre

# from HTMLParser import HTMLParser

frommyNLP import *

# from lxml import html

# import requests

classCrawler:

url =''

newurl =set()

headers ={}

cookies ={}

def__init__( self, stocknum, page) :

self.url ='http://guba.eastmoney.com/list,'+stocknum+',5_'+page+'.html'

cap =webdriver.DesiredCapabilities.PHANTOMJS

cap[ "phantomjs.page.settings.resourceTimeout"] =1000

#cap["phantomjs.page.settings.loadImages"] = False

#cap["phantomjs.page.settings.localToRemoteUrlAccessEnabled"] = True

self.driver =webdriver.PhantomJS( desired_capabilities=cap)

defcrawAllHtml( self, url) :

self.driver.get( url)

time.sleep( 2)

# htmlData = requests.get(url).content.decode('utf-8')

# domTree = html.fromstring(htmlData)

# return domTree

defgetNewUrl( self, url) :

self.newurl.add( url)

deffilterHtmlTag( self, htmlStr) :

self.htmlStr =htmlStr

#先过滤CDATA

re_cdata=re.compile( '//

[ >] ∗//

>',re.I) #匹配CDATA

re_=re.compile( ']*>[^',re.I) #

re_style=re.compile( ']*>[^',re.I) #style

re_br=re.compile( '') #处理换行

re_h=re.compile( '?w+[^>]*>') #HTML标签

re_comment=re.compile( '') #HTML注释

s=re_cdata.sub( '', htmlStr) #去掉CDATA

s=re_.sub( '',s) #去掉

s=re_style.sub( '',s) #去掉style

s=re_br.sub( 'n',s) #将br转换为换行

blank_line=re.compile( 'n+') #去掉多余的空行

s=blank_line.sub( 'n',s)

s=re_h.sub( '',s) #去掉HTML标签

s =re_comment.sub( '',s) #去掉HTML注释

#去掉多余的空行

blank_line =re.compile( 'n+')

s =blank_line.sub( 'n',s)

returns

defgetData( self) :

comments =[]

self.crawAllHtml( self.url)

postlist =self.driver.find_elements_by_xpath( '//*[@id="articlelistnew"]/div')

forpost inpostlist :

href =post.find_elements_by_tag_name( 'span')[ 2].find_elements_by_tag_name( 'a')

iflen(href) :

self.getNewUrl(href[ 0].get_attribute( 'href'))

# if len(post.find_elements_by_xpath('./span[3]/a/@href')):

# self.getNewUrl('http://guba.eastmoney.com'+post.find_elements_by_xpath('./span[3]/a/@href')[0])

forurl inself.newurl :

self.crawAllHtml(url)

time =self.driver.find_elements_by_xpath( '//*[@id="zwconttb"]/div[2]')

post =self.driver.find_elements_by_xpath( '//*[@id="zwconbody"]/div')

age =self.driver.find_elements_by_xpath( '//*[@id="zwconttbn"]/span/span[2]')

iflen(post) andlen(time) andlen(age) :

text =self.filterHtmlTag(post[ 0].text)

iflen(text) :

tmp =myNLP(text)

comments.append({ 'time':time[ 0].text, 'content':tmp.prob, 'age':age[ 0].text})

commentlist =self.driver.find_elements_by_xpath( '//*[@id="zwlist"]/div')

iflen(commentlist) :

forcomment incommentlist :

time =comment.find_elements_by_xpath( './div[3]/div[1]/div[2]')

post =comment.find_elements_by_xpath( './div[3]/div[1]/div[3]')

age =comment.find_elements_by_xpath( './div[3]/div[1]/div[1]/span[2]/span[2]')

iflen(post) andlen(time) andlen(age) :

text =self.filterHtmlTag(post[ 0].text)

iflen(text) :

tmp =myNLP(text)

comments.append({ 'time':time[ 0].text, 'content':tmp.prob, 'age':age[ 0].text})

returnjson.dumps(comments) 存储部分：

这部分其实可以用数据库来做，但是由于只是试水，就简单用 json文件来存部分数据 importio

classFile:

name =''

type =''

src =''

file =''

def__init__( self, name, type, src) :

self.name =name

self.type =type

self.src =src

filename =self.src +self.name +'.'+self.type

self.file =io.open(filename, 'w+', encoding='utf-8')

definputData( self, data) :

self.file.write( data.decode( 'utf-8'))

self.file.close()

defcloseFile( self) :

self.file.close() 测试用的local服务器：

这里只是为了要用浏览器浏览数据图，由于需要读取数据，js没有权限操作本地的文件，只能利用一个简单的服务器来弄了

importSimpleHTTPServer

importSocketServer;

PORT = 8000

Handler = SimpleHTTPServer.SimpleHTTPRequestHandler

httpd = SocketServer.TCPServer(("", PORT), Handler);

httpd.serve_forever()NLP部分：snowNLP这个包还是用来评价买卖东西的评论比较准确

不是专门研究自然语言的，直接使用他人的算法库。这个snowNLP可以建立一个训练，有空自己来弄一个关于股票评论的。

#!/usr/bin/env python

# -*- coding: UTF-8 -*-

fromsnownlpimportSnowNLP

classmyNLP:

prob = 0.5

def_init_(self, text):

self.prob = SnowNLP(text).sentiments主调度：

# -*- coding: UTF-8 -*-

'''''

Created on 2017年5月17日

@author: luhaiya

@id: 2016110274

@deion:

'''

#http://data.eastmoney.com/stockcomment/ 所有股票的列表信息

#http://guba.eastmoney.com/list,600000,5.html 某只股票股民的帖子页面

#http://quote.eastmoney.com/sh600000.html?stype=stock 查询某只股票

fromCrawlerimport*

fromFileimport*

importsys

default_encoding = 'utf-8'

ifsys.getdefaultencoding() != default_encoding:

sys.setdefaultencoding(default_encoding)

defmain():

stocknum = str(600000)

total = dict()

foriinrange(1,10):

page = str(i)

crawler = Crawler(stocknum, page)

datalist = crawler.getData()

comments = File(stocknum+'_page_'+page,'json','./data/')

comments.inputData(datalist)

data = open('./data/'+stocknum+'_page_'+page+'.json','r').read()

jsonData = json.loads(data)

fordetailinjsonData:

num = '1'if'年'notindetail['age'].encode('utf-8')elsedetail['age'].encode('utf-8').replace('年','')

num = float(num)

date = detail['time'][4:14].encode('utf-8')

total[date] = total[date] ifdateintotal.keys()else{'num':0,'content':0}

total[date]['num'] = total[date]['num'] + numiftotal[date]['num']elsenum

total[date]['content'] = total[date]['content'] + detail['content']*numiftotal[date]['content']elsedetail['content']*num

total = json.dumps(total)

totalfile = File(stocknum,'json','./data/')

totalfile.inputData(total)

if__name__ =="__main__":

main()四、前端数据展示

使用百度的echarts。用户的情绪是使用当天所有评论的情绪值的加权平均，加权系数与用户的股龄正相关。

分析图表

body{texr-align:center;}

#mainContainer{width:100%;}

#fileContainer{width:100%; text-align:center;}

#picContainer{width: 800px;height:600px;margin:0 auto;}

这里是文件夹列表