文本挖掘与情感极性分析

一直对量化投资感兴趣，看到一篇关于《基于copula理论的金融风险相依结构模型及应用》感觉很有趣，准备动手写个类似的工具。一路摸索选择了以下工具：

爬虫 crawler4j，

新闻正文提取用了WebCollector-2.31.jar 的api 

分词摘要提取用了ansj_seg,

word2vec 相关度分析

lingpipe-4.1.0.jar 情感分析

数据存储选择了elasticsearch,neo4j

展现 echart 

"news": {

• "properties": {
  • "summary": {//摘要
    • "type": "string"
    },
  • "id": {
    • "type": "long"
    },
  • "content": {//正文
    • "type": "string"
    },
  • "title": {//标题
    • "type": "string"
    },
  • "keywords": {//关键字
    • "type": "string"
    },
  • "feedurl": {//种子网站
    • "type": "string"
    },
  • "publishdate": {//发布时间
    • "format": "strict_date_optional_time||epoch_millis",
    • "type": "date"
    },
  • "url": {//新闻网址
    • "type": "string"
    }
  }

1、用tushare下载了所有股票代码和名称，在搜狗字典中下载了股票简称和股市情绪字典，常用的情绪字典，处理后加入ansj_seg的自定义用户字典

2、用爬虫在新浪财经上爬取了5万条新闻作为语料，word2vec训练，得到常用金融词汇的相关词

3、情感分析准备用两种方式实现：

一、训练lingpipe模型

二、情感字典的方式，每篇文章分词写入neo4j后，结合情感字典进行分析，然后判断正文所有句子的极性，摘要的极性，最后得出文本的极性

转载于:https://my.oschina.net/justdoithow/blog/754011