![](https://img-blog.csdnimg.cn/5639405f8f2d451ca899607df493d0b7.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习
文章平均质量分 93
深度学习拓展
Q渡劫
不会写还不滚去看官方文档
展开
-
序列模型和注意力机制(Sequence models & Attention mechanism)
例如,首先根据输入语句,找到第一个翻译的单词“Jane”,然后再找第二个单词“is”,再继续找第三个单词“visiting”,以此类推。这种概率表达式还存在一个问题,就是机器翻译的单词越多,乘积形式或求和形式得到的概率就越小,这样会造成模型倾向于选择单词数更少的翻译语句,使机器翻译受单词数目的影响,这显然是不太合适的。显然,上述机器翻译的每个单词都出现在参考翻译里,其中,分母为机器翻译单词数目,分子为相应单词是否出现在参考翻译中。对待长语句,正确的翻译方法是将长语句分段,每次只对长语句的一部分进行翻译。转载 2023-07-26 01:22:11 · 177 阅读 · 0 评论 -
自然语言处理与词嵌入
前面介绍过表征单词的方式是首先建立一个较大的词汇表(例如10000),然后使用one-hot的方式对每个单词进行编码。例如单词Man,Woman,King,Queen,Apple,Orange分别出现在词汇表的第5391,9853,4914,7157,456,6257的位置,则它们分别用O5391,O9853,O4914,O7157,O456,O6257表示这中one-hot表征单词的方法最大的缺点就是每个单词都是独立的、正交的,无法知道不同单词之间的相似程度。转载 2023-07-20 22:05:41 · 219 阅读 · 0 评论 -
序列模型学习
(2)、只有输出数据 𝑦是序列,而输入数据可以是空集,也可以是个单一的整数。(7)、在进行命名实体识别时,可能会给定一个句子要你识别出句中的人名。(4)、分析一段DNA序列对应匹配哪一种蛋白质。在进行语音识别时,给定了一个输入音频片段 𝑥。例子里输入和输出数据都是序列模型,因为。也可能是你想要生成的那首曲子的头几个音符。是一个按时播放的音频片段,输出。(3)、对输入的语句进行情感分析。,并要求输出对应的文字记录。代你想要生成的音乐风格,(6)、视频行为识别。原创 2023-07-16 19:25:02 · 303 阅读 · 0 评论 -
人脸识别学习
(1)、数据收集:收集包含多个人脸图像的数据集,每个人脸图像都有对应的标签或身份信息。(2)、图像预处理:对数据集中的每个人脸图像进行预处理,包括图像对齐、去噪、亮度/对比度调整等。目的是使得每个人脸图像都具有相似的规范化特征(3)、 特征提取:使用人脸识别算法(如PCA、LDA、DeepFace等)从每个人脸图像中提取人脸的特征向量。这些特征向量通常是低维度的数值表示,用于表示每个人脸的唯一特征(4)、特征存储:将每个人脸的特征向量与对应的标签或身份信息一起存储在数据库中,以便后。原创 2023-07-15 23:26:37 · 817 阅读 · 1 评论 -
目标检测学习
如何检测特征点(以人的部位为例)(1)、准备一个卷积网络和一些特征集,将人脸图片输入卷积网络,输出 1或0, 1 表示有人脸,0 表示没有人脸。然后输出(𝑙1𝑥𝑙1𝑦……直到(𝑙64𝑥𝑙64𝑦(2)、这里有129个输出单元,其中1表示图片中有人脸,因为有64个特征,64×2=128所以最终输出128+1=129个单元,由此根据这128个人脸特征实现对图片的人脸检测和定位,或者表情识别这些更加复杂的操作。原创 2023-07-11 21:29:56 · 798 阅读 · 0 评论 -
卷积神经网络
卷积能够通过在输入数据中提取局部特征来实现局部感知原创 2023-07-06 08:57:10 · 680 阅读 · 0 评论 -
机器学习(ML)策略
正交化是机器学习中一种常用的数据预处理技术,用于减少特征之间的相关性。在机器学习中,特征之间的相关性可能会导致模型过拟合或者降低模型的性能。正交化的主要目标是通过线性变换将特征向量转化为正交或近似正交的向量。通过正交化,我们可以得到一组新的特征向量,这些特征向量之间是正交的或者近似正交的。这样做可以减少特征之间的相关性,提高模型的性能和稳定性。正交化方法可以通过以下步骤实现:(1)、中心化:将特征向量的均值移动到原点,这样可以消除特征之间的偏差。原创 2023-06-30 01:17:07 · 406 阅读 · 1 评论 -
超参数调试、Batch正则化和程序框架
此过程将由𝛽 [1]和𝛾 [1]两参数控制,这一操作会给一个新 的规范化的𝑧 [1]值(𝑧̃ [1]),然后将其输入激活函数中得到𝑎[1],即𝑎 [1] = 𝑔 [1] (𝑧̃ [𝑙] )归一化,会把输入𝑋拟合到第一隐藏层,然后首先计算𝑧 [1],这是由𝑤[1]和𝑏 [1]两个参数控制的。接着,通常而言,会把𝑧 [1]拟合到激活函数以计算𝑎 [1](1)、加速收敛:通过对输入进行归一化,可以使得每个层的输入分布更加稳定,从而减少训练过程中的梯度爆炸或梯度消失的问题,加速模型的收敛速度。原创 2023-06-30 01:12:29 · 323 阅读 · 0 评论 -
优化算法篇
1、Mini-batch 梯度下降(Mini-batch gradient descent)原创 2023-06-27 14:09:42 · 92 阅读 · 0 评论 -
深度学习的实践层面
在机器学习中,通常将样本分成训练集,验证集和测试集三部分,数据集规模相对小,适用传统的划分比例,数据集规模较大的,验证集和测试集要小于数据总量的 20%原创 2023-06-24 23:02:02 · 503 阅读 · 0 评论 -
深层神经网络
𝑎 [4] = 𝑔 [4] (𝑧 [4] ) 前向传播可以归纳为多次迭代𝑧 [𝑙] = 𝑤[𝑙]𝑎 [𝑙−1] + 𝑏 [𝑙]𝑧 [1] = 𝑤[1]𝑥 + 𝑏 [1],𝑎 [1] = 𝑔 [1] (𝑧 [1] )(𝑥可以看做。可以看成由每一个单独的𝑍 [𝑙]叠加而得到,𝑍 [𝑙] = (𝑧。, 𝑚为训练集大小,所以𝑍 [𝑙]的维度不再是(𝑛 [𝑙], 1),而是(𝑛 [𝑙] , 𝑚)。第二层需要计算𝑧 [2] = 𝑤[2]𝑎。原创 2023-06-17 18:15:54 · 692 阅读 · 0 评论 -
浅层神经网络
有输入特征𝑥1𝑥2𝑥3四个结点,激活函数它负责产生预测值,使用了激活函数原创 2023-06-16 13:20:24 · 1574 阅读 · 0 评论 -
神经网络编程基础
为了在计算机中保存一张图片,需要保存三个矩阵, 它们分别对应图片中的红、绿、蓝三种颜色通道,每一个颜色通道需要一个矩阵来保存对应图片中红、绿、蓝三种像素的强度值。下面是三个规模为 5 * 4 的矩阵分别表示对应图片中红、绿、蓝三种像素的强度值(注意在实际中图片的每一个颜色通道的矩阵大小应该为 64 * 64的规模)表示样本数目,也即所有列向量构成的一个大矩阵,每一列就是一张图片的特征向量(也即红、蓝、绿三种像素的强度值),总共有 m 个这样的图片。是训练集的样本数量,然后这个矩阵的高度记为。原创 2023-06-12 13:27:45 · 1257 阅读 · 0 评论