深度学习
文章平均质量分 94
深度学习简介及使用
man_world
这个作者很懒,什么都没留下…
展开
-
模型量化算法原理
模型量化算法原理原创 2022-08-05 21:33:00 · 652 阅读 · 0 评论 -
HuggingFace 自然语言处理
是一个开源社区,提供了统一的AI 研发框架、工具集、可在线加载的数据集仓库和预训练模型仓库。准备数据集,定义模型,训练,测试;每个部分都提供了相应的工具集⽂字是⼀个抽象的概念,不是计算机擅长处理的数据单元,计算机擅长处理的是数字运算,所以需要把抽象的⽂字转换为数字,让计算机能够做数学运算。为了把抽象的⽂字数字化,需要⼀个字典把⽂字或者词对应到某个数字。⼀个⽰意的字典如下:# 字典:这只是⼀个⽰意的字典,所以只有 11 个词,在实际项⽬中的字典可能会有成千上万个词vocab = {原创 2023-10-07 10:37:32 · 3169 阅读 · 1 评论 -
深度学习中的数据增强
Data Augmentation in SSD (Single Shot Detector)原创 2019-09-12 09:45:43 · 3002 阅读 · 0 评论 -
Ubuntu16(Centos7) docker 和 nvidia-docker 的安装及使用
一、docker 简介Docker 使用容器创建虚拟环境,以便将 TensorFlow 安装与系统的其余部分隔离开来。TensorFlow 程序在此虚拟环境中运行,该环境能够与其主机共享资源(访问目录、使用 GPU、连接到互联网等)Docker的三大核心概念:镜像、容器、仓库镜像:类似虚拟机的镜像、用俗话说就是安装文件。容器:类似一个轻量级的沙箱,容器是从镜像创建应用运行实例,可...原创 2019-04-09 09:31:34 · 3146 阅读 · 1 评论 -
感受野( Receptive Field)
一、理论感受野1、定义感受野被定义为卷积神经网络特征所能看到输入图像的区域,换句话说特征输出受感受野区域内的像素点的影响convNets(cnn)每一层输出的特征图(feature map)上的像素点在原始图像上映射的区域大小。神经元感受野的值越大表示其能接触到的原始图像范围就越大,也意味着他可能蕴含更为全局、语义层次更高的特征;而值越小则表示其所包含的特征越趋向于局部和细节。因此感受野...原创 2019-01-21 19:43:36 · 10000 阅读 · 2 评论 -
MobileNetV1 & MobileNetV2 简介
一、参数数量和理论计算量1、定义参数数量(params):关系到模型大小,单位通常为M,通常参数用 float32 表示,所以模型大小是参数数量的 4 倍理论计算量(FLOPs):是 floating point operations 的缩写(注意 s 小写),可以用来衡量算法/模型的复杂度,这关系到算法速度,大模型的单位通常为 G,小模型单位通常为 M通常只考虑乘加操作(Mult...原创 2018-10-11 16:59:24 · 85704 阅读 · 10 评论 -
SqueezeNet & SqueezeNext 简介
一、模型原理采用 Global Average Pooling 代替 FC 层采用不同于传统的卷积方式,提出 fire module;fire module 包含两部分:squeeze 层 和 expand层squeeze 层是一个 1*1 卷积核的卷积层,expand 层是一个 1*1 和 3*3 卷积核的卷积层,在 expand 层后,要把 1*1 和 3*3 卷积后得到的 feat...原创 2018-09-27 20:55:57 · 1595 阅读 · 0 评论 -
行人重识别简介(Person ReID)
一、简介行人重识别,也被称为 ReID(Person Re-identification),是希望能够利用计算机视觉的算法来进行跨摄像头的追踪,也就是找到不同摄像头下的同一个人,这也是图像检索的一个子问题多个摄像头下拍摄行人的角度不同,图像中的行人可能72变。所以要正确判断的话,就要找到行人上的局部不变的part(比如:衣服颜色,衣服纹理,手提包,背包等等)下图为 DukeMTMC-reI...原创 2018-08-20 00:38:17 · 15700 阅读 · 0 评论 -
TensorFlow 中 RNN&LSTM 的使用
一、RNN&LSTM 基类1、RNN 基类 class tf.contrib.rnn.BasicRNNCell(num_units, activation=None, reuse=None, name=None) 输入参数: num_units: int, the number of units in the RNN cell. activat...原创 2018-06-04 21:24:13 · 3788 阅读 · 1 评论 -
反向传播算法的推导
一、参数说明W(l)ijW_{ij}^{(l)}:表示第l−1l-1层的第jj个特征到第ll层第ii个神经元的权值b(l)ijb_{ij}^{(l)}:表示第l−1l-1层的第jj个特征到第ll层第ii个神经元的偏置(其中jj恒为0,输入特征值a(l)0a_0^{(l)}恒为1)二、公式定义激活函数(这里采用sigmoid函数来做分类):f(z)=11+e−zf(z) =\frac{1}{1+e^原创 2016-10-10 19:51:41 · 2638 阅读 · 1 评论 -
数据增强及预处理
一、数据增强 深层神经网络一般都需要大量的训练数据才能获得比较理想的结果。在数据量有限的情况下,可以通过数据增强(Data Augmentation)来增加训练样本的多样性, 提高模型鲁棒性,避免过拟合。 图片数据增强通常只是针对训练数据,对于测试数据则用得较少。后者常用的是:做 5 次随机剪裁,然后将 5 张图片的预测结果做均值。 翻转(Flip):将图像沿水平或垂...原创 2018-04-22 20:59:01 · 20546 阅读 · 1 评论 -
归一化方法:BN/LN/IN/GN/FN
一、批量标准化(BN,Batch Normalization)1、BN 简介a、协变量偏移问题我们知道,在统计机器学习中算法中,一个常见的问题是协变量偏移(Covariate Shift),协变量可以看作是输入变量。一般的深度神经网络都要求输入变量在训练数据和测试数据上的分布是相似的,这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。传统的深度神经网络在训练...原创 2018-04-23 15:44:43 · 22387 阅读 · 1 评论 -
深度学习中的参数初始化
一、参数初始化分类及原理1、简介神经网络的训练过程中的参数学习是基于梯度下降法进行优化的。梯度下降法需要在开始训练时给每一个参数赋一个初始值。这个初始值的选取十分关键。一般我们希望数据和参数的均值都为 0,输入和输出数据的方差一致。在实际应用中,参数服从高斯分布或者均匀分布都是比较有效的初始化方式。A well chosen initialization can: Speed ...原创 2018-04-08 21:58:57 · 13298 阅读 · 3 评论 -
过拟合和欠拟合问题
一、训练集、测试集以及交叉验证集1、训练集(模型训练)2、测试集(模型评估)测试集的主要目的是正确评估分类器的性能,一般我们要确保测试集和交叉验证集的数据来自同一分布3、交叉验证集(模型选择) 不直接使用测试集的原因:确保我们选择出来的模型没有见过测试数据,即测试数据集没有参与模型选择的过程。 交叉验证的基本思想:重复的使用数据(许多实际应用中数据是不...原创 2018-04-23 15:50:31 · 2991 阅读 · 1 评论 -
指数加权移动平均(Exponential Weighted Moving Average)
一、EMA 简介1、演化算术平均(权重相等)—>加权平均(权重不等)—>移动平均(大约是只取最近的 N 次数据进行计算)—> 批量归一化(BN)及各种优化算法的基础EMA:是以指数式递减加权的移动平均,各数值的加权影响力随时间呈指数式递减,时间越靠近当前时刻的数据加权影响力越大2、公式及理解vt=βvt−1+(1−β)θtvt=βvt−1+(1...原创 2018-04-26 22:05:30 · 48203 阅读 · 9 评论 -
深度学习中的优化问题
一、优化问题的挑战绝大多数深度学习中的目标函数都很复杂。因此,很多优化问题并不存在显示解(解析解),而需要使用基于数值方法的优化算法找到近似解。这类优化算法一般通过不断迭代更新解的数值来找到近似解。优化问题中的两个挑战:局部最小值和鞍点。这两种情况都会造成梯度接近或变成零,从而使得网络很难继续优化。 低维空间的非凸优化问题:主要是存在一些局部最优点。采用梯度下降方法时,不合适的参数初始化...原创 2018-04-28 11:07:37 · 8760 阅读 · 1 评论 -
深度学习中的超参数设定及训练技巧
一、网络超参数的设定输入数据像素大小的设定:为便于GPU并行计算,一般将图像大小设置为到 2 的 次幂卷积层参数的设定:卷积核大小一般使用 1∗11∗11*1、3∗33∗33*3 或 5∗55∗55*5使用 zero padding,可以充分利用边缘信息、使输入大小保持不变卷积核的个数通常设置为 2 的次幂,如 64, 128, 256, 512, 1024 等池化层参数的设...原创 2018-04-28 16:47:48 · 22716 阅读 · 1 评论 -
RNN&LSTM 简介
一、前馈神经网络的缺点每次网络的输出只依赖当前的输入,没有考虑不同时刻输入的相互影响输入和输出的维度都是固定的,没有考虑到序列结构数据长度的不固定性二、循环神经网络(RNN)1、RNN 介绍循环神经网络(Recurrent Neural Network,RNN)是一类专门用于处理时序数据样本的神经网络,它的每一层不仅输出给下一层,同时还输出一个隐状态,给当前层在处理下一...原创 2018-06-02 18:54:33 · 16617 阅读 · 4 评论 -
Must Know Tips/Tricks in Deep Neural Networks (by Xiu-Shen Wei)
Must Know Tips/Tricks in Deep Neural Networks Deep Neural Networks, especially Convolutional Neural Networks (CNN), allows computational models that are composed of multiple processin转载 2016-08-02 08:55:03 · 976 阅读 · 0 评论