Charlesthj的博客

原创 Pre-Trained Models: Past, Present and Future综述总结（1）

总体介绍：非神经模型：手工制作的特征和统计方法hand-crafted features and statistical methods神经模型：从数据中自动学习低维连续向量（也称为分布式表示），作为任务特定的特征关键挑战之一是数据匮乏data hungry,导致：深度神经网络通常具有大量参数，因此容易过度拟合，泛化能力差 overfit and have poor generalization ability但是手动构建高质量数据集，手动注释大规模数据，昂贵又耗时。.