深度学习
Sophie'sCookingLab
个人学习笔记,方便使用时查找,也希望和各位大佬交流学习心得~~
原理+实践+认知
展开
-
Transformer详解(3-1)-attention为什么要除以根号d
attention的计算公式,为什么要除以根号d?原创 2024-06-03 12:08:15 · 265 阅读 · 0 评论 -
adam优化器计算过程(tensorflow)
原理应用优点缺点一步一步计算api使用。原创 2024-05-29 16:20:40 · 203 阅读 · 0 评论 -
Transformer详解(8)-基于transformer的英文到中文翻译模型
是“转录和翻译演讲网络清单”的缩写,是 TED 演讲多语言转录的现成版本,可用于研究目的。1、数据使用TED,数据清洗。2、英文中文翻译模型搭建。原创 2024-05-29 13:52:50 · 145 阅读 · 0 评论 -
Transformer详解(7)-transformer结构搭建完成✌️
【代码】Transformer详解(7)-transformer结构搭建完成。原创 2024-05-28 12:00:05 · 328 阅读 · 0 评论 -
Transformer详解(6)-解码器
【代码】Transformer详解(6)-解码器。原创 2024-05-28 11:57:37 · 244 阅读 · 0 评论 -
Transformer详解(5)-编码器
【代码】Transformer详解(5)-编码器。原创 2024-05-27 22:19:56 · 328 阅读 · 0 评论 -
Transformer详解(4)-前馈层&残差连接&层归一化
其中u和c分别表示均值和方差,用于将数据平移缩放到均值为0、方差为1的标准分布,a和b是可学习的参数。层归一化技术可以有效地缓解优化过程中潜在的不稳定、收敛速度慢等问题。残差连接主要是指使用一条直连通道直接将对应子层的输入连接到输出,避免在优化过程中因网络过深而产生潜在的梯度消失问题。残差连接和层归一化技术,进一步提升训练的稳定性。前馈层接收自注意力层的输出作为输入。原创 2024-05-27 21:41:53 · 797 阅读 · 0 评论 -
Transformer详解(3)-多头自注意力机制
【代码】Transformer详解(3)-多头自注意力机制。原创 2024-05-24 22:31:06 · 247 阅读 · 0 评论 -
Transformer详解(2)-位置编码
Transformer结构不再使用基于循环的方式建模文本输入,序列中不再有任何信息能够提示模型单词之间的相对位置关系。因此,Transformer自身无法感知位置信息,需要输入层的额外位置信息。序列中每一个单词所在的位置都对应一个向量。这一向量会与单词表示对应相加并送入后续模块中做进一步处理。在训练过程中,模型会自动的学习到如何利用这部分位置信息。原创 2024-05-24 19:34:40 · 670 阅读 · 0 评论 -
Transformer详解(1)-结构解读
组成编码器和解码器的重要部分是Transformer块。Transormer块主要由两个部分组成,注意力层和前馈层,为了使模型训练更加稳定高效,引入了残差连接和层归一化。原创 2024-05-24 19:29:52 · 383 阅读 · 0 评论 -
交叉熵损失函数计算过程(tensorflow)
交叉熵损失函数通常用于多类分类损失函数计算。计算公式如下:P为真实值,Q为预测值。原创 2024-05-22 16:05:58 · 299 阅读 · 1 评论 -
CNN实现卫星图像分类(tensorflow)
使用的数据集卫星图像有两类,airplane和lake,每个类别样本量各700张,大小为256*256,RGB三通道彩色卫星影像。,提取码: cq47。原创 2024-05-05 22:51:54 · 981 阅读 · 3 评论 -
CNN实现fashion_mnist数据集分类(tensorflow)
根据损失函数和准确率,判断模型是否过拟合,不断调整网络结构,使得模型最优。原创 2024-05-05 16:20:12 · 722 阅读 · 0 评论 -
MLP手写数字识别(3)-使用tf.data.Dataset模块制作模型输入(tensorflow)
【代码】MLP手写数字识别(3)-使用tf.data.Dataset模块制作模型输入(tensorflow)原创 2024-05-04 21:26:12 · 350 阅读 · 0 评论 -
MLP实现fashion_mnist数据集分类(2)-函数式API构建模型(tensorflow)
使用函数式API构建模型,使得模型可以处理多输入多输出。原创 2024-05-03 10:08:24 · 825 阅读 · 3 评论 -
MLP实现fashion_mnist数据集分类(1)-模型构建、训练、保存与加载(tensorflow)
【代码】MLP实现fashion_mnist数据集分类(1)(tensorflow)原创 2024-05-02 22:12:15 · 439 阅读 · 2 评论 -
MLP手写数字识别(2)-使用Sequential()构建模型(tensorflow)
【代码】MLP手写数字识别(2)-使用Sequential()构建模型(tensorflow)原创 2024-04-29 23:07:55 · 626 阅读 · 1 评论 -
MLP手写数字识别(1)-MNIST数据集下载与可视化(tensorflow)
【代码】MLP手写数字识别(1)-数据下载与可视化。原创 2024-04-29 22:57:42 · 536 阅读 · 1 评论