机器学习
文章平均质量分 64
B1009
这个作者很懒,什么都没留下…
展开
-
SGD
SGD此处的SGD指mini-batch gradient descent,关于batch gradient descent, stochastic gradient descent, 以及 mini-batch gradient descent的具体区别就不细说了。现在的SGD一般都指mini-batch gradient descent。SGD就是每一次迭代计算mini-batch的梯...转载 2018-10-06 16:38:49 · 308 阅读 · 0 评论 -
RNN
RNN模型我们先来看一个RNN经典结构,图1展示了一个典型按时间展开后的RNN结构。从图1可以看出,RNN在每一个时刻都有一个输入Xt,然后根据当前节点的状态At计算输出值ht,而At是根据上一时刻的状态At-1和当前的输入Xt共同决定的。和卷积神经网络卷积核或池化核的参数共享类似,这里RNN结构中的参数在不同时刻中也是共享的。1.2.1 RNN前向传播过程图2 RNN的前...转载 2018-10-09 15:56:29 · 564 阅读 · 0 评论 -
pytorch basic
import torch import torchvisionimport torch.nn as nnimport numpy as npimport torchvision.transforms as transforms# ================================================================== ## ...转载 2019-01-08 10:08:23 · 291 阅读 · 0 评论 -
pytorch 定义自己的数据集
class MNIST(data.Dataset): def __init__(self, root, train=True, transform=None, target_transform=None, download=False): self.root = root self.transform = transform self.ta...转载 2019-01-09 19:22:03 · 806 阅读 · 0 评论 -
TVM YOLOV3 tuning 结果
cuda9.0 cudnn7.5 V100原创 2019-07-08 18:00:53 · 1215 阅读 · 0 评论 -
winograd
转载 2019-07-10 15:06:32 · 1000 阅读 · 0 评论 -
Blas 函数及其对应操作
原创 2018-09-27 11:14:42 · 859 阅读 · 0 评论 -
线性代数在机器学习上的基本应用
本人硕渣一枚,之前研究方向为GPU并行计算。现在开始学习机器学习和深度学习。俗话说好记性不如烂笔头。仅以此记录我的学习过程。线性代数在机器学习方面有着重要的应用,为了更好的理解机器学习,复习一下线性代数。以前不知道线性代数在机器学习中的应用,这里我推荐大家学习一下李宏毅教授的课程讲解的非常好。这里以数字识别为例:首先一副图像输入如下所示:我们首先将图片16*原创 2017-12-28 13:54:35 · 6371 阅读 · 1 评论 -
Caffe 全连接层
深度学习笔记(6)全连接层的实现:全连接层的每一个结点都与上一层的所有结点相连,用来把前边提取到的特征综合起来。由于其全相连的特性,一般全连接层的参数也是最多的。全连接层的前向计算下图中连线最密集的2个地方就是全连接层,这很明显的可以看出全连接层的参数的确很多。在前向计算过程,也就是一个线性的加权求和的过程,全连接层的每一个输出都可以看成前一层的每一个结点乘以一个权重系数W,最后加上一个偏...转载 2018-09-17 17:05:15 · 931 阅读 · 0 评论 -
CONV 反向传播
前向传播: 这里只说CNN前向传播不同于全连接前向传播的部分,即:输入层到卷积层和卷积层到池化层。 1、输入层到卷积层的前向传播输入层到卷积层,采用的是局部连接,参数共享,卷积操作的方式,进行计算的,有个最好的说明就是cs231n笔记中的gif图,现展示如下: 图中有两个卷积核,w0和w1,注:这两个卷积核是已经翻转过的,然后进行协相关操作。由于输入的是3个...转载 2018-09-17 18:21:44 · 805 阅读 · 0 评论 -
权值初始化方法之Xavier与MSRA
首先介绍一下Xavier等初始化方法比直接用高斯分布进行初始化W的优势所在: 一般的神经网络在前向传播时神经元输出值的方差会不断增大,而使用Xavier等方法理论上可以保证每层神经元输入输出方差一致。 这里先介绍一个方差相乘的公式,以便理解Xavier:Xavier现在我们先来分析一层卷积: 其中ni表示输入个数。根据概率统计知识我们有下面的方差公式: 特别的,当我们假...转载 2018-09-18 11:28:12 · 1753 阅读 · 0 评论 -
BN层和CONV层合并
卷积层中卷积权重: W,卷积偏置:B卷积层运算:BN 层中均值: ,方差:,缩放因子:,偏移:, 一个较小数(防止分母为0): BN层和卷积层合并后: ...转载 2018-09-18 14:00:14 · 3567 阅读 · 2 评论 -
YOLOv3 yolo_layer.c
for (b = 0; b < l.batch; ++b){ for(n = 0; n < l.n; ++n){ int index = entry_index(l, b, n*l.w*l.h, 0); // 对 tx, ty进行logistic变换 activate_array(l.output + index, 2*l.w*...转载 2018-11-09 13:58:46 · 1343 阅读 · 3 评论 -
理解CNN
今年来,随着人工智能的发展,神经网络已经成为一个热门话题技术,下面我们来理解下CNN首先我们了解一下什么是卷积:卷积能够得到图像的某些特征信息,了解图像处理的人都知道,我们通过卷积可以对图像进行锐化或者模糊,其实是相同的原理,和某些模板卷积操作可以凸显图像的某些特征。首先我们想象:针对一个神经元,一幅640*360图像,一个神经元要对应640*360个像素点,即一个神经原创 2017-05-24 15:55:52 · 887 阅读 · 0 评论