- 博客(6)
- 收藏
- 关注
RSS订阅原创 Xception模型精讲
Xception 并不是真正意义上的轻量化模型，是Google继Inception后提出的对Inception v3的另一种改进，主要是采用depthwise separable convolution来替代原来的Inception v3中的卷积操作，这种性能的提升是来自于更有效的使用模型参数而不是提高容量。当时提出Inception的初衷可以认为是：特征的提取和传递可以通过1x1卷积，3x3卷积，5x5卷积，pooling等，到底哪种才是最好的特征提取方式呢？第五层简化inception模块（
2024-03-25 16:27:25
1332
原创 通俗易懂RNN和LSTM
RNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络。时间序列数据是指在不同时间点上收集到的数据，这类数据反映了某一事物、现象等随时间的变化状态或程度。这是时间序列数据的定义，当然这里也可以不是时间，比如文字序列，但总归序列数据有一个特点——后面的数据跟前面的数据有关系。RNN是神经网络的一种，类似的还有深度神经网络DNN，卷积神经网络CNN，生成对抗网络GAN等等。
2024-03-11 17:38:52
1434
1
原创 PGGAN(ProGAN)解读与代码
PGGAN用逐步扩增的训练方法实现高分辨率图像生成。首次生成了1024×1024像素高分辨率图像。首先利用分辨率为4×4像素的图像训练生成器和判别器,再使用平滑层方法逐步添加网络层并提高图像分辨率,最终生成1024×1024像素分辨率的图像。这种逐步扩增的训练方法使得生成器的低分辨率层首先能学习图像的轮廓信息。当低分辨率层达到收敛时,引入新的网络层级,进一步细化图像中的细节信息。在生成器的设计中,PGGAN不再使用反卷积操作完成上采样,而改用最邻近滤波结合卷积操作的方式避免引起棋盘效应。
2024-01-30 11:43:19
2187
原创 上采样——转置卷积
上采样主要用于图像需要放大的情况。一些最流行的上采样方法是插值，包括最近邻插值、双线性插值和双三次插值。但是涉及到深度学习时，这些传统的上采样技术会过于死板，没有留下“学习”的空间。本文讲解了转置卷积。转置卷积又称反卷积 (Deconvolution)。与传统的上采样方法相比，转置卷积的上采样方式并非预设的插值方法，而是同标准卷积一样，具有可学习的参数，可通过网络学习来获取最优的上采样方式。标准卷积的运算操作是对卷积核中的元素与输入矩阵上对应位置的元素进行逐像素的乘积并求和。
2024-01-18 08:00:00
519
1
原创 注意力、自注意力、多头注意力机制
注意力机制是通过Query与Key的注意力汇聚（给定一个 Query，计算Query与 Key的相关性，然后根据Query与Key的相关性去找到最合适的 Value）实现对Value的注意力权重分配，生成最终的输出结果。
2024-01-17 09:32:42
880
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人