浅层学习的局限性

1、浅层学习相关模型

2、自然语言处理

2.1、对模型的文本数据进行预处理

2.2、浅层学习模型通常需要通过人工方法获得良好的样本特征，然后用经典的机器学习算法对其进行分类。因此，特征提取在很大程度上制约了该方法的有效性。

2.3、浅层学习方法仍然需要进行特征工程，这是非常耗时和昂贵的。

2.4、它们往往忽略文本数据中自然的顺序结构或上下文信息，使学习词汇的语义信息变得困难。

3、浅层学习的局限性

 

3.1、有限参数和计算单元，对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定的制约。这是因为处理复杂问题时，可能需要指数增长的计算单元。

3.2、浅层模型需要依靠人工经验来抽取样本的特征，模型的输入是这些已经选取好的特征，模型只用来负责分类和预测。在浅层模型中，最重要的往往不是模型的优劣，而是特征的选取的优劣。因此大多数人力都投入到特征的开发和筛选中来，不但需要对任务问题领域有深刻的理解，还要花费大量时间反复实验摸索，这也限制了浅层模型的效果。 

4、深度学习被提出

        2006年，加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton在《科学》上发表论文提出深度学习主要观点： 多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类 深度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wise pre-training）来有效克服，逐层初始化可通过无监督学习实现的。

5、深度学习的概念

深度学习：一种基于MLP模型，无监督的、多层次的结构特征表示学习方法

多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类

深度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wise pre-training）来有效克服，逐层初始化可通过无监督学习实现的

以上简要介绍浅层学习的局限性，仅为自己学习需要，仅供参考。