Python金融数据挖掘 第7章 第2节（2）文本挖掘

兴奋、文本处理，热门，文本大数据，遇到难题，三分钟热度，再次消磨

文本挖掘：指从大量文本的集合C中发现隐含的模式p。

1、出现原因

（1）数据量大，数据网络存储、传播广、文本数据价值高，价值密度低

（2）处理有难度，数值，传统统计软件STATA难以处理

（3）复杂数据变换，数值型数据，code多，但黑箱化（后台使用神经网络，SVM，掩盖关键信息），但转换出的结果难以看懂，数据不知如何转换

（4）数据量大，数值型数据规模大（二维表形式，词、特征词——深度学习，维度、变量、字段）

（5）对机器、设备要求高

（6）大量围观者，对初学者不友好，很难运行出结果

2、我的课程目前学习

预处理！

简单、分词处理、数据值矩阵、数据挖掘阶段

英文、中文 ——增加学习量（主学中文）集华人之精华

3、基本过程

（1）获取数据：文本数据

（2）预处理：分词、过滤无用词、词性标记、特征提取（提取重要特征词）、数值型矩阵

（3）数据挖掘：聚类、分类、预测、关联分析、文本摘要

（4）可视化