深度学习
深度学习
baihaisheng
这个作者很懒,什么都没留下…
展开
-
CentOS服务器配置GPU运行环境
cuda的安装一、查询显示服务器cuda可驱动的GPUhttps://developer.nvidia.com/cuda-gpus 查询英伟达CUDA支持的显卡类型有哪些yum install pciutilslspci | grep -i nvidia输出00:07.0 VGA compatible controller: NVIDIA Corporation Device 1bb3 (rev a1)二、确定LINUX系统版本是不是支持cudauname -m &&原创 2020-06-08 19:31:27 · 692 阅读 · 0 评论 -
多分类交叉熵损失函数的梯度计算过程推导
一、Softmax函数的导数Softmax函数公式:Si 代表的是第i个神经元的输出其中wij 是第i个神经元的第 j 个权重,b是偏移值。zi 表示该网络的第i个输出隐藏层输出经过softmax:具体过程如下图所示:z4 = w1x1+w2x2+w3x3z5 = w4x1+w5x2+w6x3z6 = w7x1+w8x2+w9*x3 经过softmax函数得到多分类损失函数公式:其中yi表示真实的分类结果利用损失函数求梯度已知不做推导求解书过程推导:如果i原创 2020-05-13 15:31:50 · 4939 阅读 · 0 评论 -
交叉熵损失函数
交叉熵损失函数是用来衡量神经网络的预测值与实际值的一种方式。与均方差损失函数相比,它能更有效地促进网络的训练为什么很少用MSE(均方误差作为损失函数)预测数据和原始数据对应点误差的平方和的均值,n为样本的个数以一个样本为例,此时损失函数为:根据反向传播求w的梯度:导数为均方差对参数的偏导的结果都乘了sigmoid的导数 ,而之前看图发现sigmoid导数在其变量值很大或很小时趋近于0,所以偏导数很有可能接近于0,由参数更新公式:参数=参数-学习率×损失函数对参数的偏导,偏导很小时,.原创 2020-05-13 08:21:10 · 361 阅读 · 0 评论 -
DNN反向传播算法
定义:DNN的损失函数用梯度下降法进行迭代优化求极小值的过程即为我们的反向传播算法DNN反向传播算法的目的输入层有n个神经元,输出层有n个神经元,还有若干神经元的隐藏层,需要找到合适的所有隐藏层和输出层对应的线性权重系数矩阵W,偏置向量b,让所有的训练样本输入计算出的输出尽可能的等于或很接近样本输出的真实值如何得到权重系数W和偏置b选择合适的损失函数来度量训练样本的输出损失,对这个损失函数进行优化求极小值,最终求得对应的一系列线性权重系数矩阵W,偏置向量 b...原创 2020-05-11 10:36:39 · 337 阅读 · 0 评论 -
DNN前向传播
DNN的前向传播算法是用若干个权重系数矩阵W,偏置向量b来和输入值向量x进行一系列线性运算和激活运算,从输入层开始,一层层的向后计算,一直到运算到输出层,得到输出结果为值输入: 总层数L,所有隐藏层和输出层对应的矩阵W,偏倚向量b,输入值向量x输出:输出层的输出aL初始化al=xfor l=2 to L:al=σ(zl)=σ(Wlal-1+bl)根据计算得到如下图所示结果...原创 2020-05-11 09:55:14 · 286 阅读 · 0 评论 -
DNN(深度神经网络)
深度神经网络(Deep Neural Networks, 以下简称DNN)神经网络发展第一代神经网络又称为感知器,由科学家Frank Rosenblatt发明于1950至1960年代,它的算法只有两层,输入层输出层,,主要使用的是一种叫做sigmoid神经元(sigmoid neuron)的神经元模型,主要是线性结构。它不能解决线性不可分的问题,如异或操作。为了解决第一代神经网络的缺陷,在1980年左右提出第二代神经网络多层感知器(MLP)。和第一代神经网络相比,第二代在输入输出层之间有增加了原创 2020-05-09 23:12:10 · 26837 阅读 · 1 评论 -
Softmax分类器
Softmax 分类(Multinomial Logistic Regression)与cross-entropy(交叉熵损失)原创 2020-05-01 21:13:37 · 864 阅读 · 0 评论 -
激活函数
什么是激活函数激活函数(Activation functions)主要作用在神经元上,是神经网络模型去学习、理解非常复杂和非线性的函数来说起到非常重要的作用,它将非线性特性引入到神经网络中。将A-NN模型中负责将神经元的输入映射到输出端。如果不用激活函数,每一层输出都是上层输入的线性函数,无论神经网络有多少层,输出都是输入的线性组合,在神经网络将无法学习和模拟其他复杂类型的数据,例如图...原创 2020-05-01 15:27:36 · 292 阅读 · 0 评论 -
dropout
dropout正则化作用:dropout定义:Droupout是随机的对神经网络每一层进行丢弃部分神经元操作。减少神经元之间复杂的共适应性。当隐藏层神经元被随机删除之后,使得全连接网络具有了一定的稀疏化,从而有效地减轻了不同特征的协同效应。也就是说,有些特征可能会依赖于固定关系的隐含节点的共同作用,而通过Dropout的话,它强迫一个神经单元,和随机挑选出来的其他神经单元共同工作,达到...原创 2020-04-07 22:19:36 · 330 阅读 · 0 评论 -
神经网络权重初始化
随机初始化原创 2020-04-07 20:47:31 · 147 阅读 · 0 评论 -
L1/L2正则化
L1/L2正则化作用可以防止过拟合什么是过拟合模型损失函数原创 2020-04-06 19:50:42 · 161 阅读 · 0 评论 -
batch Normalization
batch Normalization什么是BNBN的作用原创 2020-04-05 20:46:29 · 94 阅读 · 0 评论 -
YOLO v2-v3
概述yolo v1的缺点是精度低,对于小物体的检测效果不好,v2在v1的基础上做了升级网络网络架构做了调整BN的加入去掉了全连接层,多尺度的训练引入Faster RCNN的archor机制,archor的个数是通过聚类分析得到训练损失的计算...原创 2020-04-03 19:05:46 · 156 阅读 · 0 评论 -
YOLO
概述目标检测就是要找出图片中物体的bounding box(边界框),并判定框内物体的类别。假如图片中有一只猫,那我们要将这只猫用一个bounding box框出来(bounding box用左上角坐标(x,y)和矩形的宽高(w,h)来表示)yolo算法的思想将输入的图像划分成SXS大小的网格,如果物体的中心落到那个网路,那个网络就负责预测这个物体,如下图所示红色框表示物体的中心。网...原创 2020-04-02 21:26:03 · 257 阅读 · 0 评论 -
Mask RCNN
概述原理将 fast RCNN的ROI Pooling替换成ROIalign同时在之前目标分类,候选框的位置偏移 并列增加FCN 每个ROl进行掩码ROIalign不做取整网络架构优缺点原创 2020-04-02 19:35:31 · 180 阅读 · 0 评论 -
Faster RCNN
概述在Faster R-CNN中加入一个提取边缘的神经网络,也就说找候选框的工作也交给神经网络来做了。这样,目标检测的四个基本步骤(候选区域生成,特征提取,分类,位置精修)被统一到一个深度网络框架原理输入NxN的图像大小经过conv+relu+pooling卷积网络输出特征图Feature map,该feature map被共享用于后续RPN层和全连接层利用rpn产生anchor b...原创 2020-04-01 22:26:40 · 211 阅读 · 0 评论 -
Fast RCNN
原理使用选择性搜索算法筛选出候选区域(Region Proposals)将图像输入卷积层,得到feature map对每个候选区域 使用 ROI在feature map上提取固定大小的特征向量将特征向量输入到全连接层,输出两部分,一部分是通过softmax计算分类类别,一部分是bounding box回归使用非极大抑制选出少数框,对应类下的位置和图像进行标注网络结构损失计算采...原创 2020-04-01 20:33:26 · 148 阅读 · 0 评论 -
Sequential构建模型
Sequential模型原创 2020-03-22 19:05:26 · 297 阅读 · 0 评论 -
CNN架构
LeNet-5特点:采用2个卷积,2个全连接层采用sigmoid激活函数10分类AlexNet5个卷积层 3个全连接层参数6000千万采用Relu激活函数加入dropout使用批标准化100分类VGG获得2014年ImageNet的亚军19层的卷积层1.4亿个参数采用更小的卷积核 11 33的获得更小参数inception使用11 33 5*5 max_po...原创 2020-03-18 16:54:04 · 332 阅读 · 0 评论 -
卷积神经网络
定义:卷积神经网络由卷积层,池化层,全连接层组成,卷积层卷积核的大小卷积核的数量padding步长多通道卷积核多个卷积核池化层平均池化最大池化全连接层卷积运算...原创 2020-03-18 11:30:11 · 163 阅读 · 0 评论 -
神经网络优化过程
单个神经元前向传播反向传播优化过程实现import numpy as npimport h5pyfrom data import load_datasetdef mode(train_x, train_y, test_x, test_y, n_num=2000, learn_late=0.05): # 初始化参数 w, b = grade_init(train_x.sh...原创 2020-03-14 14:30:51 · 114 阅读 · 0 评论 -
深度学习优化
优化的目标优化的目标在于降低训练损失,只关注最小化目标函数上的表现深度学习难以在大数据领域发挥很大作用的原因是,在巨大的数据基础上训练计算很慢,而优化算法是其中一种办法。损失函数优化的目标是降低损失,那么在深度学习优化,一般首先会预定义一个损失函数,有了损失函数,就开始不断优化算法,使用损失函数最小化。深度学习中遇到的问题前面已经确定了优化的目标,接下就开始优化算法的过程,优化算法...原创 2020-03-13 21:01:30 · 709 阅读 · 0 评论