常见的深度学习模型


链接:https://www.zhihu.com/question/38679133/answer/3332055705

 

大概从基础模型架构、高级模型和技术、还有当下最火的LLM大模型三个大分类一起来细数一下各分类下主要的模型原理、优缺点和适用的任务。

1、基础模型架构

1)卷积神经网络 CNNConvolutional Neural Network):

卷积:卷积的本质是通过矩阵运算的方式将输入数据进行空间上的滤波,有效地提取数据中的局部特征,从而实现特征数据更高程度的抽象表示。

池化可以理解成“压缩”,用来降低卷积层输出的特征维度,减少网络参数和计算量。

CNN通过多个卷积层和池化层对输入图像进行多次特征提取和降采样,最终得到全局特征表示,再通过全连接层进行分类。

优点:

参数数量小,训练时间短。

缺点:

不适用于序列数据,无法处理时序信息。

CNN 的实际应用(更适合图像任务):

图像分类、图像检索、目标检测、人脸识别、文本分类、语音识别

2)循环神经网络 RNN (RecurrentNeuralNetwork)

RNN是将CNN进行了改造,简单来说就是把上一次的输出混合下一次的输入再做一次计算,每次计算都对上一次的计算结果有一定的依赖。

优点:

解决了输入数据是连续的序列问题(例如“我喜欢人工智能”每个字之间有时序关系,也有逻辑关系)。

缺点:

梯度消失或梯度爆炸、训练速度较慢,计算量较大、复杂序列数据支持得不够好

RNN 的实际应用(更适合NLP任务):

机器翻译、语音识别、图片描述、时间序列分析等任务。

3)长短期记忆网络 LSTM(long short-term memory)(基于RNN的扩展)

RNN的工作方式,决定了它不会“遗忘”,前面内容的信息会不断被代入到后续输入中进行计算,从而导致梯度消失或梯度爆炸问题。

LSTM 是RNN的一种变体,通过“门”结构引入“选择性遗忘”机制,解决RNN的这一弊端。

优点:

解决了传统RNN中存在的梯度消失和梯度爆炸问题,从而更好地处理长序列数据。

缺点

因为 LSTM 是RNN的一种变体,因此缺点方面,仍然是RNN的那些缺点。

LSTM 的实际应用(更适合NLP任务):

文本情感分析、语音识别、机器翻译、序列预测、图像分析、语音生成、时间序列分析

2、高级模型和技术

1)生成对抗网络 GAN(Generative Adversarial Networks)

GAN由生成器和判别器组成。二者相互对抗,生成器网络负责生成数据并且欺骗判别器网络,而判别器网络负责识别哪些数据是真实的。

优点:

生成能力强、不需要显式监督

缺点:

训练过程复杂、数据要求高

GAN 的实际应用:

图像生成、图像修复、风格迁移、去掉图像遮挡、年龄转移、语音合成等。

2)Transformer:

2017年,Google发表论文《Attention is all you need》,成为Transformer开山之作。通过引入自注意力机制、多头自注意力机制前馈神经网络和位置编码等技术,Transformer实现了高效的并行计算和强大的表示能力。

自此,Transformer架构一路开挂,形成了一个枝繁叶茂的大家族,在文本分类、命名实体识别、情感分析、问答系统、机器翻译、语音识别、图像分类等领域都取得了显著的成果。

3、大型预训练语言模型(Large Language Model)(通常基于Transformer架构

近年来,BERT、GPT4、LLaMa等一大批优秀大模型纷纷亮相,开启了大模型新时代的新篇章。前不久,谷歌多模态大模型Gemini Ultra也重磅发布,如今大模型不能说是热点,而要说是沸点了。

对于技术人员来说,无论是从原理还是从使用上,大模型都注定成为“兵家必争之地”。

思考:大模型时代,学习传统经典模型还有意义吗?

尽管随着大模型如火如荼的发展,我们不断听到“算法已死”的哀嚎,但是传统经典模型的意义和不容小觑。

第一,了解RNN和LSTM等传统模型的基本原理和特点,才能够准确理解和分析业务场景,根据实际情况进行选择和调整,以确保模型能够取得最佳的性能和效果。

第二,小模型胜在专而精,小而美,在一些特定场景下,例如车牌识别、人脸识别。。。传统经典模型仍然具有超强的竞争力。

第三,传统经典模型提供了更好的可解释性。在如医疗和金融等应用中,模型的可解释性是非常重要的。

第四,很多优秀的模型,都是通过融入了其它模型的理念和特质而形成的。通过学习传统经典模型,我们可以更好地利用它们与大型预训练模型的互补性,甚至为之添上神来之笔,通过融合和嫁接做出重大改进。

总结

在实际应用中,每个分支都有大量的著名的变种模型。



万变不离其宗,了解了基本原理和设计思想,就能够更容易理解各个变种模型的妙处以及适用场景。

  • 1
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值