兴奋、文本处理,热门,文本大数据,遇到难题,三分钟热度,再次消磨
文本挖掘:指从大量文本的集合C中发现隐含的模式p。
1、出现原因
(1)数据量大,数据网络存储、传播广、文本数据价值高,价值密度低
(2)处理有难度,数值,传统统计软件STATA难以处理
(3)复杂数据变换,数值型数据,code多,但黑箱化(后台使用神经网络,SVM,掩盖关键信息),但转换出的结果难以看懂,数据不知如何转换
(4)数据量大,数值型数据规模大(二维表形式,词、特征词——深度学习,维度、变量、字段)
(5)对机器、设备要求高
(6)大量围观者,对初学者不友好,很难运行出结果
2、我的课程目前学习
预处理!
简单、分词处理、数据值矩阵、数据挖掘阶段
英文、中文 ——增加学习量(主学中文)集华人之精华
3、基本过程
(1)获取数据:文本数据
(2)预处理:分词、过滤无用词、词性标记、特征提取(提取重要特征词)、数值型矩阵
(3)数据挖掘:聚类、分类、预测、关联分析、文本摘要
(4)可视化