Charlesthj的博客

原创 Pre-Trained Models: Past, Present and Future综述总结（1）

总体介绍： 非神经模型： 手工制作的特征和统计方法hand-crafted features and statistical methods 神经模型： 从数据中自动学习低维连续向量（也称为分布式表示），作为任务特定的特征 关键挑战之一是数据匮乏data hungry,导致： 深度神经网络通常具有大量参数，因此容易过度拟合，泛化能力差 overfit and have poor generalization ability 但是手动构建高质量数据集，手动注释大规模数据，昂贵又耗时。 .