文本分析主要包含哪些技术，文本分析技术的发展方向是什么？

全球多达80%的大数据是非结构化的，如博客、微博、微信、设备日志、与客服代表的会话等都属于非结构化数据，人类的自然语言非常复杂，一句话可能包含多种因素：语气、语调、隐喻、反语等，简单的数据分析模型无法应对这些复杂多样的变化。

文本分析技术的发展方向：

1.智能化理解：确定一段文字是关于什么信息的，然后进行匪类和量化，再进一步分析。这有助于发掘客户的特点，并将其转换成结构化的数字输出到预测模型。

2.处理复杂文本：非结构化和半结构化的文本源，如XML文件、Excel电子表格或博客文章。他们内容庞杂、议题广泛，有必要整合两种或更多数据源在一起，进行统一分析，以获得深刻的见解。

3.简化管理：分析文本复杂繁琐，但输出的结果往往需要通俗易懂。对监管者来说，文本分析可以总动审计跟踪、定期检验、提交规格报告。

文本分析技术：

1.术语文档矩阵（ATermDocumentMatrix）：是一个需要进一步分析的结果集。例如，购买了产品的客户A的购买频率如何，与未购买产品客户B有何区别。我们需要对术语进行排序，以便基于它们的信号强度建模。这些术语的存在和频率可以用数字显示在建模数据集，并直接并入最佳预测模型。这种“语义评分卡”是传统评分卡辅以非结构化信息（按属性将数据进行分类，并分配权重）。可进行复杂的数据运算，以确定哪些属于信号最强、哪些特定术语应进行组合以从原文中识别出较大的概念。

2.命名实体识别（NamedEntityExtraction,NEE）：基于自然语言处理，借鉴了计算机科学、人工智能和语言学等学科，可以确定哪些部分可能代表如人、地点、组织、职称、产品、货币金额、百分比、