深度学习概念
小宋是呢
作者简介:深度学习开发分享博主。全网粉丝3W+,阅读量200W+。
CSDN深度学习博客专家以及微信公众号《简明AI》主要作者。创作内容是基于深度学习的理论学习与应用开发技术分享,致力于最简单明了AI技术分享与最实用AI应用教程。
撰写并发表深度学习论文两篇,获得国家级及省级一等奖奖项八次,以第一作者授权实用新型及发明专利共计十余项,天池与BDCI比赛Top10奖项数次。
在某公司担任算法工程师,从事计算机视觉及时序序列数据的检测识别;深度学习工程化经验丰富,擅长针对新算法研究与应用,包括对模型调优、模型转化及多平台部署等。
展开
-
『深度概念』极简图解卷积与反卷积操作
正向卷积正向卷积的实现过程。假设输入的图片 input 尺寸为 4x4,元素矩阵为:卷积核的尺寸为 3x3,其元素矩阵为:正向卷积操作:步长 strides = 1, 填充 padding = 0,输出形状为 2x2,该过程如下图所示:在上面这幅图中,底端为输入,上端为输出,卷积核为 3x3。如果我们用矩阵乘法去描述这个过程: 把 input 元素矩阵展开成一个列向量 Xinput=[x1,x2,x3,x4,x5,x6,x7,x8,x9,x10,x11,x12,x13原创 2020-07-20 22:56:35 · 1781 阅读 · 0 评论 -
『深度应用』目标检测coco数据集格式介绍
MSCOCO数据集的标注格式(http://cocodataset.org),数据结构如下{ "images": [ {"file_name":"cat.jpg", "id":1, "height":1000, "width":1000}, {"file_name":"dog.jpg", "id":2, "height":1000, "width":1000}, .....原创 2019-12-24 19:26:12 · 2893 阅读 · 2 评论 -
『深度概念』原理图解代码FPN Feature Pyramid Networks
0 原理FPN 2017年Facebook的Tsung-Yi Lin等提出了FPN特征金字塔架构,可以灵活地应用在不同地任务中去,包括目标检测、实例分割等实现端到端训练。之前算法采用多尺度特征融合的方式一般是采用融合后的特征做预测,而FPN算法不一样的地方在于预测是在不同特征层独立进行的,利用深层特征通过上采样和低层特征做融合。被广泛使用,有效提高小目标检测及mAP.在以往...原创 2019-11-28 11:25:01 · 1326 阅读 · 0 评论 -
[深度学习概念]·理解NLP的卷积神经网络
理解NLP的卷积神经网络当我们听说卷积神经网络(CNN)时,我们通常会想到计算机视觉。CNN负责图像分类方面的重大突破,是目前大多数计算机视觉系统的核心,从Facebook的自动照片标签到自动驾驶汽车。最近,我们也开始将CNN应用于自然语言处理中的问题,并获得了一些有趣的结果。在这篇文章中,我将尝试总结CNN是什么,以及它们如何在NLP中使用。CNN背后的直觉对于计算机视觉用例来说有点容易...翻译 2019-03-17 10:14:17 · 1937 阅读 · 0 评论 -
[深度学习概念]·DenseNet学习笔记(代码实现PyTorch)
DenseNet学习笔记目录前言设计理念网络结构实验结果及讨论使用Pytorch实现DenseNet小结参考文献前言在计算机视觉领域,卷积神经网络(CNN)已经成为最主流的方法,比如最近的GoogLenet,VGG-19,Incepetion等模型。CNN史上的一个里程碑事件是ResNet模型的出现,ResNet可以训练出更深的CNN模型,从而实现更高的准确...原创 2019-03-12 12:04:51 · 9578 阅读 · 3 评论 -
[深度学习概念]·数据归一化问题
预测时数据如何归一化问题?个人主页-->https://xiaosongshine.github.io/参考Batch Normalization(简称BN)的处理方法在训练时,我们会对同一批的数据的均值和方差进行求解,进而进行归一化操作。但是对于预测时我们的均值和方差怎么求呢?比如我们预测单个样本时,那还怎么求均值和方法呀!其实是这种样子的,对于预测阶段时所使用的均值和...原创 2019-03-12 11:29:18 · 1133 阅读 · 0 评论 -
[深度学习概念]·数据批归一化解析
【深度学习】批归一化(Batch Normalization)目录我们为什么需要BN?BN怎么做?BN到底解决了什么?预测时均值和方差怎么求?CNN中的BNBN是由Google于2015年提出,这是一个深度神经网络训练的技巧,它不仅可以加快了模型的收敛速度,而且更重要的是在一定程度缓解了深层网络中“梯度弥散”的问题,从而使得训练深层网络模型更加容易和稳定。所以目前BN已...转载 2019-03-12 11:16:59 · 1311 阅读 · 0 评论 -
[深度学习概念]·Siamese network 孪生神经网络简介
Siamese network 孪生神经网络--一个简单神奇的结构名字的由来Siamese和Chinese有点像。Siam是古时候泰国的称呼,中文译作暹罗。Siamese也就是“暹罗”人或“泰国”人。Siamese在英语中是“孪生”、“连体”的意思,这是为什么呢?十九世纪泰国出生了一对连体婴儿,当时的医学技术无法使两人分离出来,于是两人顽强地生活了一生,1829年被英国商人发现,...转载 2019-03-11 15:53:12 · 2737 阅读 · 0 评论 -
[深度学习技巧]·数据类别不平衡问题处理
数据类别不平衡问题处理转载地址1.什么是类别不平衡问题如果不同类别的训练样例数目稍有差别,通常影响不大,但若差别很大,则会对学习过程造成困扰。例如有998个反例,但是正例只有2个,那么学习方法只需要返回一个永远将新样本预测为反例的学习器,就能达到99.8%的精度;然而这样的学习器往往没有价值,因为它不能预测出任何正例。类别不平衡(class-imbalance)就是指分类任务中不同...原创 2019-03-11 14:03:39 · 11084 阅读 · 0 评论 -
[深度概念]·模型集成(Ensemble)解析
1模型集成(Ensemble)曾经听过一句话,”Feature为主,Ensemble为后”。Feature决定了模型效果的上限,而Ensemble就是让你更接近这个上限。Ensemble讲究“好而不同”,不同是指模型的学习到的侧重面不一样。举个直观的例子,比如数学考试,A的函数题做的比B好,B的几何题做的比A好,那么他们合作完成的分数通常比他们各自单独完成的要高。常见的Ensemble方法...转载 2019-03-19 11:10:59 · 6468 阅读 · 0 评论 -
[深度概念]·K-Fold 交叉验证 (Cross-Validation)的理解与应用
K-Fold 交叉验证 (Cross-Validation)的理解与应用个人主页-->http://www.yansongsong.cn/1.K-Fold 交叉验证概念在机器学习建模过程中,通行的做法通常是将数据分为训练集和测试集。测试集是与训练独立的数据,完全不参与训练,用于最终模型的评估。在训练过程中,经常会出现过拟合的问题,就是模型可以很好的匹配训练数据,却不能很好在预...原创 2019-03-19 12:36:11 · 26383 阅读 · 2 评论 -
[深度概念]·Softmax优缺点解析
[深度概念]·Softmax优缺点解析个人主页-->https://xiaosongshine.github.io/Softmax是soft(软化)的max。在CNN的分类问题中,我们的ground truth是one-hot形式,下面以四分类为例,理想输出应该是(1,0,0,0),或者说(100%,0%,0%,0%),这就是我们想让CNN学到的终极目标。网络输出的幅值千...原创 2019-03-26 18:20:35 · 16234 阅读 · 5 评论 -
[深度概念]·深度学习术语表(一)
[深度概念]·深度学习术语表(一)对于刚开始学习深度学习的新人来说,深度学习术语掌握起来会非常困难。这篇深度学习词汇表包含了一些深度学习的常用术语,以帮助读者深入了解特定主题。深度学习和“一般”机器学习术语之间的界限非常模糊。我尽量让这个词汇表围绕深度学习展开,但有可能有少部分的重叠。例如,我这里不包括“交叉验证”,因为它是一种通用技术,使用了所有跨机器学习。但是,我决定将...原创 2019-03-31 13:56:15 · 709 阅读 · 0 评论 -
[深度概念]·评估指标EER(Equal Error Rate)介绍
[深度概念]·评估指标EER(Equal Error Rate)介绍深度学习文章一般用EER(Equal Error Rate)等错误概率作为衡量分类器的一个客观标准,博文ROC曲线解释了如何计算EER。下面是对EER计算的简单介绍EER(平均错误概率)是一种生物识别安全系统算法,用于预先确定其错误接受率及其错误拒绝率的阈值。当速率相等时,公共值称为相等错误率。该值表明错误接受的比例等...原创 2019-04-04 23:40:28 · 14631 阅读 · 2 评论 -
[论文品读]·d-vector解读(Deep Neural Networks for Small Footprint Text-Dependent Speaker Verification)
Deep Neural Networks for Small Footprint Text-Dependent Speaker Verification目录ABSTRACT1. INTRODUCTION2. PREVIOUS WORK3. DNN FOR SPEAKER VERIFICATION3.1. DNN as a feature extractor3.2. En...原创 2019-04-08 21:51:09 · 6327 阅读 · 5 评论 -
[深度基础]·EER计算画图
Code:import numpy as npimport matplotlib.pyplot as pltdatas = np.array([[i*0.1,int((i*0.1>0.55)) or i*0.1 == 0.4 ] for i in range(0,10)])np.random.shuffle(datas)print(datas)def get_far(la...原创 2019-04-25 17:55:06 · 2624 阅读 · 0 评论 -
[深度学习概念]·图神经网络综述:模型与应用
图神经网络综述:模型与应用近年来,图神经网络的研究成为深度学习领域的热点。近日,清华大学孙茂松组在 arXiv 上发布预印版综述文章Graph Neural Networks: A Review of Methods and Applications。该文总结了近年来图神经网络领域的经典模型与典型应用,并提出了四个开放性问题。对于希望快速了解这一领域的读者,不妨先从...转载 2019-03-11 13:10:58 · 1408 阅读 · 1 评论 -
[深度学习概念]·word2vec原理讲解Negative Sampling的模型概述
word2vec原理讲解Negative Sampling的模型概述目录1.Hierarchical Softmax的缺点与改进2.基于Negative Sampling的模型概述3.基于Negative Sampling的模型梯度计算4.Negative Sampling负采样方法5.基于Negative Sampling的CBOW模型6.基于Nega...转载 2019-03-11 09:51:58 · 550 阅读 · 0 评论 -
[深度学习概念]·word2vec原理讲解
word2vec原理讲解 word2vec原理(一) CBOW与Skip-Gram模型基础 word2vec原理(二) 基于Hierarchical Softmax的模型 word2vec原理(三) 基于Negative Sampling的模型 word2vec是google在2013年推出的一个NLP工具,它的特点是将所有的词向量化,这样词与词之间就可以定...转载 2019-03-11 09:39:15 · 393 阅读 · 0 评论 -
[深度学习概念]·深度学习Transformer模型介绍
深度学习Transformer模型介绍转载地址目录深度学习Transformer模型介绍 CNN RNN 核心问题Transformer结构 亮点self-AttentionMultiHead Attentionposition Encoding总结一下动机常见的seq2seq问...转载 2019-01-18 22:32:36 · 14549 阅读 · 2 评论 -
[深度学习概念]·CNN卷积神经网络原理分析
目录2.0 卷积神经网络简述2.1 二维卷积层2.1.1. 二维互相关运算2.1.2. 图像中物体边缘检测2.1.3. VGGNet实例边缘检测分析2.0 卷积神经网络简述本章将介绍卷积神经网络。它是近年来深度学习能在计算机视觉领域取得突破性成果的基石。它也逐渐在被其他诸如自然语言处理、推荐系统和语音识别等领域广泛使用。我们将先描述卷积神经网络中卷积层和池化层的工作原理...原创 2019-01-20 11:16:16 · 1556 阅读 · 1 评论 -
[深度学习概念]·梯度下降原理讲解
目录梯度下降的场景假设梯度下降微分梯度梯度下降算法的数学解释梯度下降算法的实例单变量函数的梯度下降多变量函数的梯度下降梯度下降算法的实现coding time小结Further reading转载地址可以结合我的博文Numpy梯度下载实现对比来看梯度下降的场景假设 梯度 梯度下降算法的数学解释 梯度下降算法的实例 梯度下降算法的实现...原创 2019-01-20 11:29:43 · 920 阅读 · 3 评论 -
[深度学习概念]·模型选择、欠拟合和过拟合原理分析(基于MXNet实现)
3.1. 模型选择、欠拟合和过拟合如果你改变过实验中的模型结构或者超参数,你也许发现了:当模型在训练数据集上更准确时,它在测试数据集上却不一定更准确。这是为什么呢?3.1.1. 训练误差和泛化误差在解释上述现象之前,我们需要区分训练误差(training error)和泛化误差(generalization error)。通俗来讲,前者指模型在训练数据集上表现出的误差,后者指模型在任意...原创 2019-01-20 11:39:37 · 615 阅读 · 0 评论 -
[深度学习概念]·语音识别模型WaveNet介绍
语音识别模型WaveNet介绍 这篇文章介绍了WaveNet,一种原始音频波形的深度生成模型。我们展示了WaveNets能够生成模仿任何人类语音的语音,并且听起来比现有的最佳文本语音系统更自然,与人类表现的差距缩小了50%以上。我们还演示了相同的网络可以用于合成其他音频信号,如音乐,并呈现自动生成的钢琴片的一些引人注目的样本。说话的机器允许人们与机器交谈是人机交互的长期梦想。在...翻译 2019-01-22 10:34:06 · 4614 阅读 · 1 评论 -
[深度学习概念]·谷歌transformer论文解读(转)
目录转载地址简介模型结构AttentionScaled dot-product attentionMulti-head attentionPositional EmbeddingAuto recursive decoding计算复杂度后续参考文献简介这篇博客的主要内容是对谷歌提出的transformer 进行论文解读,包含算法复杂度的分析。对应的...原创 2019-01-22 11:51:10 · 8892 阅读 · 3 评论 -
[深度学习概念]·注意力机制浅析(Attention is All You Need论文)
转载地址实战博客地址GitHub:https://github.com/xiaosongshine/transfromer_keras前言2017 年中,有两篇类似同时也是笔者非常欣赏的论文,分别是 FaceBook 的 Convolutional Sequence to Sequence Learning 和 Google 的 Attention is All You Need,...原创 2019-01-22 15:14:13 · 3202 阅读 · 1 评论 -
[深度学习概念]·CNN网络架构演进:从LeNet到DenseNet(代码实现基于Keras)
CNN网络架构演进:从LeNet到DenseNet卷积神经网络可谓是现在深度学习领域中大红大紫的网络框架,尤其在计算机视觉领域更是一枝独秀。CNN从90年代的LeNet开始,21世纪初沉寂了10年,直到12年AlexNet开始又再焕发第二春,从ZF Net到VGG,GoogLeNet再到ResNet和最近的DenseNet,网络越来越深,架构越来越复杂,解决反向传播时梯度消失的方法也越来越巧妙...转载 2019-02-22 14:40:16 · 986 阅读 · 0 评论 -
[深度学习概念]·深度学习进行语音识别-简单语音处理
深度学习进行语音识别-简单语音处理吴恩达教授曾经预言过,当语音识别的准确度从95%提升到99%的时候,它将成为与电脑交互的首要方式。下面就让我们来学习与深度学习进行语音室识别吧!机器学习并不总是一个黑盒如果你想知道神经机器翻译是如何工作的,你应该猜到了我们可以简单地将一些声音送入神经网络,然后训练它使之生成文本:这是使用深度学习进行语音识别的最高追求,但是很遗憾我们现在还没...转载 2019-02-19 11:07:41 · 4632 阅读 · 0 评论 -
[深度学习概念]·深度学习的目标检测技术演进解析
[深度学习概念]·深度学习的目标检测技术演进解析 object detection个人理解,就是在给定的图片中精确找到物体所在位置,并标注出物体的类别。object detection要解决的问题就是物体在哪里,是什么这整个流程的问题。然而,这个问题可不是那么容易解决的,物体的尺寸变化范围很大,摆放物体的角度,姿态不定,而且可以出现在图片的任何地方,更何况物体还可以是多个类别。obje...转载 2019-02-20 14:32:48 · 593 阅读 · 0 评论 -
[深度学习概念]·声纹识别技术简介
声纹识别技术简介声纹识别,也称作说话人识别,是一种通过声音判别说话人身份的技术。从直觉上来说,声纹虽然不像人脸、指纹的个体差异那样直观可见,但由于每个人的声道、口腔和鼻腔也具有个体的差异性,因此反映到声音上也具有差异性。如果说将口腔看作声音的发射器,那作为接收器的人耳生来也具备辨别声音的能力。最直观的是当我们打电话给家里的时候,通过一声“喂?”就能准确地分辨出接电话的是爸妈或是...原创 2019-02-26 14:38:56 · 21083 阅读 · 6 评论 -
[深度学习概念]·深度学习性能提升的技巧
深度学习性能提升的技巧英文原文地址目录1.从数据上提升性能1)收集更多的数据2) 产生更多的数据3) 对数据做缩放4) 对数据做变换5) 特征选择6) 问题重构2. 从算法上提升性能1) 算法的筛选2) 从文献中学习3) 重采样的方法3. 从算法调优上提升性能1) 可诊断性2) 权重的初始化3) 学习率4) 激活函数5) ...翻译 2019-02-26 15:00:56 · 650 阅读 · 1 评论 -
[深度学习概念]·深度学习中人脸识别开发解析
深度学习中人脸识别开发解析目录人脸识别介绍人脸识别算法实战解析参考文献人脸识别介绍人脸识别是什么人脸识别问题宏观上分为两类:1. 人脸验证(又叫人脸比对)2. 人脸识别。人脸验证做的是 1 比 1 的比对,即判断两张图片里的人是否为同一人。最常见的应用场景便是人脸解锁,终端设备(如手机)只需将用户事先注册的照片与临场采集的照片做对比,判断...转载 2019-03-02 17:55:19 · 1278 阅读 · 0 评论 -
[深度学习概念]·声纹锁与声纹识别技术原理解析
声纹锁与声纹识别技术原理解析 声纹锁的工作原理是什么?声纹识别技术原理是怎样的?声纹锁也是智能门锁的新兴品种。利用声纹识别技术进行开锁,在门锁中也开锁得到了应用。声纹锁和指纹锁有着异曲同工之妙,与指纹锁基于指纹识别技术不同的是,声纹锁是对于声音的技术识别,本文将为大家解释声纹锁识别的技术原理。什么是声纹锁声纹锁将声纹识别应用于门禁系统,实现传说中芝麻开门的神话。声纹锁建立在声...原创 2019-02-26 17:19:06 · 6168 阅读 · 0 评论 -
[深度学习概念]·深度学习的人脸识别技术发展综述
深度学习的人脸识别技术发展综述转载地址目录前言人脸识别方法总结前言LFW数据集(Labeled Faces in the Wild)是目前用得最多的人脸图像数据库。该数据库共13,233幅图像,其中5749个人,其中1680人有两幅及以上的图像,4069人只有一幅图像。图像为250*250大小的JPEG格式。绝大多数为彩色图,少数为灰度图。该数据库采集的是自然条件下人...转载 2019-03-02 21:18:22 · 1926 阅读 · 0 评论 -
[深度学习概念]·主流声学模型对比
主流声学模型对比目录概述基础概念语音帧语音识别系统主流声学建模技术HMMDNN-HMMFFDNNCNNRNN及LSTMCTC其他建模技术语言建模技术语音唤醒技术关于未来概述语音识别建模对语音识别来说是不可或缺的一部分,因为不同的建模技术通常意味着不同的识别性能,所以这是各个语音识别团队重点优化的方向。也正是因为如此,语音...转载 2019-03-07 12:05:25 · 7542 阅读 · 0 评论 -
[深度学习概念]·完全图解RNN、RNN变体、Seq2Seq、Attention机制
完全图解RNN、RNN变体、Seq2Seq、Attention机制看到一篇讲的很透彻的文章,来自何之源大牛。划线部分是自己的一下理解和补充,供大家参考。。目录一、从单层网络谈起二、经典的RNN结构(N vs N)三、N VS 1四、1 VS N五、N vs M六、Attention机制七、总结本文主要是利用图片的形式,详细地介绍了经典的RNN、RNN几...转载 2019-03-15 09:27:40 · 725 阅读 · 1 评论 -
[深度学习概念]·深度学习简介
目录有监督的学习半监督学习无监督学习(又名Hebbian学习)回到深度学习深度学习和人工神经网络卷积神经网络循环神经网络生成对抗性网络深度学习的未来前言我们生活在这样一个世界:无论好坏,我们总是被深度学习算法所包围。从社交网络过滤到自动驾驶汽车,再到电影推荐,金融欺诈检测,药物发现……深度学习影响着我们的生活和决策。在这一文章中,将尽可能简单易懂地解...原创 2019-01-19 14:13:22 · 5125 阅读 · 0 评论