m0_49683806的博客

通过编码器-解码器注意力，解码器可以在生成目标序列的每个位置时，动态地关注与之对应的源语言序列的不同位置。One-hot维度和字典长度有关系。通过堆叠多个相同的解码器层，解码器可以逐步生成目标序列，并在每个解码器层中融合源语言序列的上下文信息和自身的上下文信息。同样的，已翻译的词汇，加入个数是M个，使用One-hot编码，是M个One-hot维度的向量。编码器由多个相同的编码器层（Encoder Layer）堆叠而成，堆叠多个相同的编码器层可以逐渐提取输入序列的高级表示，捕捉输入序列中的语义和上下文信息。

注意力机制通过在解码过程中动态选择性地聚焦（focus）输入序列的特定部分，使模型能够根据输入序列的不同部分调整其关注和权重分配。它允许模型根据当前解码步骤的需要，动态地分配不同的注意力或权重给输入序列的不同位置，以捕捉关键信息。

RNN 的主要特点是引入了循环连接，允许信息在网络内部进行传递。这种循环结构使得 RNN 可以接受变长序列作为输入，并且在每个时间步上都可以利用之前的信息来影响当前的输出。

将图像中的每个像素与其所属的目标实例进行关联，并为每个像素分配一个特定的标签，以实现像素级别的目标定位和分割。

目标检测的目标是确定图像中存在的目标的类别，并在图像中标记出它们的位置，通常使用边界框来表示目标的位置和大小。

语义分割：给每个像素分配类别标签。不区分实例，只考虑像素类别。

梯度下降法是机器学习中一种常用到的算法，但其本身不是机器学习算法，而是一种求解的最优化算法。主要解决求最小值问题，其基本思想在于不断地逼近最优点，每一步的优化方向就是梯度的方向。

在神经网络中，每个神经元都有一个激活函数，它接受输入信号（来自前一层神经元或输入层）并计算输出。激活函数的作用是对输入信号进行非线性变换，从而为神经网络引入非线性能力，使其能够学习和表示更加复杂的数据模式和关系。

好的初始化方法可以防止前向传播过程中的信息消失，也可以解决反向传递过程中的梯度消失。激活函数选择双曲正切(ReLU)或者Sigmoid时，建议使用Xaizer初始化方法;激活函数选择ReLY或Leakly ReLU时，推荐使用He初始化方法。

可以使网络自行选择数据分布的均值和方差，γ决定方差，β决定期望。批归一化操作：对这32个输出进行减均值初方差操作；可保证当前神经元的输出值的分布符合0均值1方差。累加训练中每个批次的均值和方差，最后进行平均，用平均后的结果作为预测时的均值和方差。如果每一层的每个神经元进行批归一化，就能解决前向传递过程中的信号消失问题。问题：输出的0均值1方差的正态分布是最有利于网络分类的分布吗？批归一化：对输出值进行归一化，将归一化结果平移缩放作为输出。实际操作中，经常将批归一化放在全连接层之后，非线性激活前。

深度学习-全连接神经网络-训练过程-欠拟合、过拟合和Dropout- [北邮鲁鹏]

神经网络中的超参数、超参数的优化方法、搜索策略

上述定义中，卷积运算将函数 g(x)（或 g[n]）沿着 x 轴（或 n 轴）进行翻转，并与函数 f(x)（或 f[n]）逐点相乘，然后对乘积进行积分（或求和）来获得新的函数 (f * g)(x)（或 (f * g)[n]）。

噪声点，其实在视觉上看上去让人感觉很难受，直观理解就是它跟周围的像素点差异比较大，显得比较突兀，视觉看起来很不舒服，这就是噪声点。，高斯噪声的产生一个是由于采集器附加的噪声，另一个是由于光学问题带来的噪声。当图像处理时，将3 * 3的卷积核套在图像的9个像素上，取这9个图像向上的像素值，排序求出其中值，并用该。虽然高斯卷积核可以去除高斯噪声，但是更模糊（最下图比最上图模糊），坏的噪声去掉了，好的像素也受到了影响。噪声的方差越大，高斯卷积核的方差或尺寸就要越大。相互独立的，而且服从均值为0的正态分布。

什么是图像边缘？图像中亮度明显而急剧变化的点

纹理是由于物体表面的物理属性的多样性而造成的，物理属性不同表示某个特定表面特征的灰度或者颜色信息不同，不同的物理表面会产生不同的纹理图像，因而纹理作为图像的一个极为重要的属性，在计算机视觉和图像处理中占有举足轻重的地位。纹理是图像中特征值强度的某种局部重复模式的宏观表现。

可以将卷积神经网络类比为纹理表示例子中的卷积核组，最后得到表示特征响应图组的48维向量，之后接全连接神经网络进行分类（全连接神经网络适合处理小输入）

深度学习-经典网络解析-AlexNet&ZFNet&VGG&GoogLeNet&ResNet[北邮鲁鹏]