马飞飞的博客

首先说明下：GPU驱动有很多匹配方案，匹配方案可以是tensorflow 1.5+cuda 9+cudnn7或者tensorflow1.4+cuda 8+cudnn6或者tensorflow1.2+cuda 8+cudnn5，安装时从这些方案选一个即可，这里举例tensorflow1.2+cuda 8+cudnn5方案。1.下载驱动（1）下载cuda 8地址为https:/...

本文是一片译文，从四个方面来提出37条神经网络调试总结，这四个方面分别是： 数据集、数据增强、具体实现、训练。数据集1. 检查你的输入数据检查馈送到网络的输入数据是否正确。例如，我不止一次混淆了图像的宽度和高度。有时，我错误地令输入数据全部为零，或者一遍遍地使用同一批数据执行梯度下降。因此打印／显示若干批量的输入和目标输出，并确保它们正确。2. 尝试随机输入尝试传递随机数而不是...

1.R-CNN是最为经典的方式，对应于下图，具体来说R-CNN的算法框架就是一下三个过程，分别是提取候选窗口（又叫感兴趣区，不同于以往简单的滑窗提取方式，这里是使用一种更加简洁的Selective Search方式）、将候选窗口统一规格处理并输入CNN网络提取特征（进行统一规格的是因为网络的全连接层需要输入图像尺寸是固定的，而卷积层其实是不需要的）、用提取出的特征做分类和位置矫正任务（这里是依据，...

LSTM的引入*虽然RNN的训练过程和多层神经网络差异不大，写程序较简单，但是Rnn的训练是十分困难的，而且很难学到长期依赖，因为当对参数进行求导更新时，式子中会使用链式法则不断乘积和求导，如在对参数w更新的式子中，会需要使用链式法则，这样当对一个变量针对变量函数求导时，会得到一个雅可比矩阵，这样就会出现两个问题。      [1].如果雅可比阵中有较小数时，经过多次矩阵相乘，梯度值会快速...

简介*注意力模型来源于人脑对事物的观察，由于人脑在观察事物时，人眼睛聚焦的位置只是很小的一块，这时人脑会聚焦在这一小块图案上，此时，人脑对图的关注并不是均衡的，是有权重区别的。*注意力模型多用于对图片的文字说明，对于图片的描述，我们接下来会介绍两种类型的图片描述方式：         [1]传统图像描述            [2]注意力模型传统图像描述*传统方式是类似...

先综述下，神经网络做分类等问题的核心原理是使用升维/降维、 放大/缩小、旋转、平移、弯曲这5大类操作完成扭曲变换，最终能在扭曲后的空间找到轻松找到一个超平面分割空间。接下来介绍的内容有：                                    1.神经网络每层都在做什么                           2.神经网络如何完成识别任务           ...

问题描述一般的梯度下降方法寻找的是loss function的局部极小值，而我们想要全局最小值。如下误差曲面图所示，我们希望loss值可以降低到右侧深蓝色的最低点，但loss有可能“卡”在左侧的局部极小值中，也就是图中红线所走的路径。方案为了防止卡到'局部最优点'，我们有以下几个方法：      [1]使用随机梯度下降代替真正的梯度下降。可以这样理解，每次针对单个数据样例进行摸...

我们以图像形式说明下欠拟合、正常拟合、过拟合的场景，左图为欠拟合，此时算法学习到的数据规律较弱，有较差的预测效果，中图为正常拟合的形态，模型能够兼顾预测效果和泛化能力，右图是过拟合的情形，此时模型对训练集有较好的预测效果，但是因为其过度拟合于训练数据，所以对未见过的数据集有较差的预测效果，也就是我们通常说的低泛化能力。欠拟合问题欠拟合问题易于解决，其基本方式有：      [1]增...

一.生成对抗网络简介1.生成对抗网络模型主要包括两部分：生成模型和判别模型。 生成模型是指我们可以根据任务、通过模型训练由输入的数据生成文字、图像、视频等数据。 [1]比如RNN部分讲的用于生成奥巴马演讲稿的RNN模型,通过输入开头词就能生成下来。 [2]或者由有马赛克的图像通过模型变成清晰的图像，第一张是真实，第四张是合成的。 ...

一.简介1.残差神经网络是2015年由微软研究院四位华人提出的，在Imgnet上夺冠的神经网络，它是有152层深的神经网络，在2015年的ILSVRC比赛中取到了3.5%错误率。Resnet能够达到152层的原因是引入了残差模块的概念，使用如下图的残差模块控制跳转来克服深层网络梯度消失的问题。2.创建残差模块的思路是：对于一个神经网络，随着我们增加网络深度时，会导致梯度消散问题，梯...

一.域对抗性模型1.域对抗方式应对于源场景是有监督的、目标场景是无监督的学习问题，如下图是从数据集MNIST到MNIST-IN的迁移应用，通过有监督的MNIST数据来实现对有背景MNIST-IN图片的数字识别。2.对于有标签到无标签的迁移问题，我们可以借用GAN的思想，构造下面的网络结构，创造这个模型的思路是：                     [1]首先构建一个CNN网络模...

一.Model fine-tuning方式1.Model fine-tuning模型是应对于源数据和目标数据都是有标签、且有大量源数据、少量目标数据的情况。最典型的例子是之前做狗种类识别竞赛时，用到的迁移方法，针对于训练集中每个狗只有100张左右训练图像的问题，我们使用的方法是：                       [1]使用别人训练好的用于1024个物种分类(相似域、不同任务...

一.引入迁移学习1.迁移学习将在一个场景中学习到的知识迁移到另一个场景应用。 通过利用之前学到的知识来帮助完成新环境下任务的学习方法，这样能解决现有深度学习算法欠缺泛化能力、大量任务场景缺少标签数据的问题。下图是吴恩达预测的各种方法在商业上的应用成功度。2.使用迁移学习，我们可以去做以下任务。                     [1]无人驾驶汽车            ...

paper:《Self-Adaptive Proposal Model for Temporal Action Detection based on Reinforcement Learning》背景1.任务描述：本paper用于视频行为检测任务，对于给定的视频，检测出视频中的可能产生运动的片段和行动的类别，传统的针对这一任务，我们常常分成两步的来解决： ...