qq_41845951的博客

前言RNN网络可以用于情感分析，与语言相关的工作，比如一个例子一个电影的评论，系统分析它是好评还是差评。假设每个单词可以用[100]表示（这种序列表示方法简单地说就是有100个单词，[1,0,...],[0,1,0...]这些表示一个单词），上图的五个单词就是输入，也就是一个[5,100]的数据。分别将5个单词输入线性层，得出5个Linear[2]，也就是一个[5,2]数据，最后输出概率，判断是差评还是好评。改进但是这种方法存在两个问题1.输入单词很多，每个单词...

本文是在阅读了TSN论文以及复刻了TSN实验的基础上进行的TSN源码分析。1.源码准备直接在github中拉去源代码：git clone --recursive https://github.com/yjxiong/tsn-pytorch 2.源码结构源码中的结构如下：main.py 训练模型 test_models.py 测试模型 opts.py 参数配置 dataset.py 数据读取 models.py 网络结...

前言本文主要是为了复刻TSN论文中的实验，使用的是UCF101数据集。1.数据集及源码准备1.1数据集介绍在视频分类项目中，有很多经典的公开数据集，目前主要的数据集如列表所示：UCF101是动作识别数据集，从Youtube收集而得，共包含101类动作。其中每类动作由25个人做动作，每人做4-7组，共13320个视频，分辨率为320*240。UCF101在动作的采集上具有非常大的多样性，包括相机运行、外观变化、姿态变化、物体比例变化、背景变化、光纤变化等。主要结构为...

前言深度神经网络在视频中的动作识别中优势并不明显。因此，提出了一种改进后的网络，时间段网络(TSN)，它是用一种新的基于段的采样和聚合模块来建模长程时间结构，TSN能够有效地学习动作模型，通过简单的平均池化和多尺度时间窗融合，学习的模型可以很容易地适应修剪视频和未修剪视频的动作识别。1.基于视频的动作识别面临的困难对于视频中的动作识别，有两个至关重要且相互补充的线索:表象和时间动态。识别系统的性能在很大程度上取决于它是否能够从中提取和利用相关信息，但是，提取有用信息并非易事，如比例变化...

目录前言前向传播1.1卷积层前向传播1.2池化层前向传播1.3全连接层前向传播2.损失函数3.反向传播3.1已知池化层​，求上一层​3.2已知卷积层​，求上一层​3.3卷积层更新W和b4.总结前言卷积神经网络是计算机视觉的最基础网络，可以让计算机很好的模拟人的眼睛，主要方法就是提取出特定事物的特征，根据特征对事物进行识别，那么在卷积神经网络训练时，梯度是怎么变化的，卷积神经网络中的权重参数是怎么更新的，本文对重点对卷积神经网络中的反向传播进行讨论。...

前言本文是根据观看了知名油管up主，对Supervised Contrastive Learning这篇文论文的解读写了一点自己的理解，初次接触，理解甚浅。在文章中作者提出了一种新的监督训练的loss, 这种loss 是基于contrast loss的优化目标，与之前的监督学习不同，它是每个锚点取多个正例， 目的是使相同label 的normalized embedding 尽可能接近，不同label的尽可能远。最终结果证明，新的loss要比cross entropy训练更加稳定， 并且在分...

目录前言1.优化算法比较2.初始学习率参数3.batch_size参数4.数据预处理参数5.正则化参数的选择5.1Regularization参数5.2.dropout参数的选择6.归一化以及激活函数选择前言之前已经用最简单的CNN网络实现了对MNIST数据集的分类问题，并且通过对参数以及网络结构的优化使模型的性能达到了一个不错的状态，本文将对所有参数进行调整比较，分析不同参数在CNN网络训练中的影响，主要是通过控制变量法，对loss以及acc曲线的分...

前言1.数据集介绍CIFAR-10数据集由10个类的60000个32x32彩色图像组成，每个类有6000个图像。有50000个训练图像和10000个测试图像。数据集分为五个训练批次和一个测试批次，每个批次有10000个图像。测试批次包含来自每个类别的恰好1000个随机选择的图像。训练批次以随机顺序包含剩余图像，但一些训练批次可能包含来自一个类别的图像比另一个更多。总体来说，五个训练集之和包含来自每个类的正好5000张图像。里面类别包括飞机，汽车，鸟，猫，鹿，狗，青蛙，马，船，卡车十个类..

目录前言1.语义分割1.1滑动窗口1.2全连接网络2.分类与定位3.目标检测4.实例分割前言在至少约十年的时间里，用于解决计算机视觉领域问题的技术已经有了很大的改进。那对于计算机视觉领域存在的问题有哪些呢？一些显著的问题是：图像分类、目标检测、图像分割、图像说明等。并且分析各种任务的解决方法以及原理。1.语义分割语义分割不仅是对图片中的某一位置分类，它是对图像中的每一个像素都进行分类。1.1滑动窗口对于这类问题，可以用滑动窗口进行实现，每次...

前言在训练神经网络的时候，有归一化，正则化等优化模型性能的方法，但是在做这些优化之前，我们需要确定一种优化方法或者说是优化器，优化方法会对模型的 性能有不少的影响，pytorch里面自带了不少优化器，可以自动的更新梯度，loss等参数，是比较方便的。1.随机梯度下降法--SGD对比批量梯度下降法，假设从一批训练样本n中随机选取一个样本，模型参数为，代价函数为，梯度为，学习率为，则使用随机梯度下降法更新参数表达式为：其中，,表示随机选择的一个梯度方向表示t时刻的模型参数...

在平时训练神经网络时，总会出现过拟合现象，也就是模型与测试集数据过度拟合，导致模型泛化性很低，在测试集上的准确率变得很低。正则化是处理过拟合的方法之一1.Regularization通常我们在损失值上加上噪声通常我们会用下面三种误差项具体实现方式可以参考https://blog.csdn.net/jinping_shi/article/details/524339752.Dropout我们直接在神经元的传递之间舍弃一些值，减少了神经网络的复杂程度dropo...

目录1.前言2.BN概述2.1数据预处理2.2算法实现2.3源码实现3.归一化作用1.前言我们知道在神经网络训练开始前，都要对输入数据做一个归一化处理，那么具体为什么需要归一化呢？归一化后有什么好处呢？原因在于神经网络学习过程本质就是为了学习数据分布，一旦训练数据与测试数据的分布不同，那么网络的泛化能力也大大降低；另外一方面，一旦每批训练数据的分布各不相同(batch 梯度下降)，那么网络就要在每次迭代都去学习适应不同的分布，这样将会大大降低网络的训练速度，这也正是为什么我们

1.激活函数1.1sigmiod函数这是最早期神经网络用的一种激活函数，是非线性的，将元素压缩到[0,1]上，但是在元素趋很大或者很小（负数）的时候，可以看成是线性的sigmoid函数跟所有激活函数一样实现了元素非线性化，更加贴近于实际。但是缺点很明显，（1）当元素处于函数的正饱和区域或者负饱和区域的时候，或出现梯度消失现象（2）sigmoid函数不是关于0对称的，梯度只会朝着一个方向更新，导致梯度更新效率低。设一个神经元为f（∑wi*xi+bi），那么w的梯度为dl/dw=x...