深度学习概念
分享深度学习相关概念,和大家一起学习成长
小宋是呢
作者简介:深度学习开发分享博主。全网粉丝3W+,阅读量200W+。
CSDN深度学习博客专家以及微信公众号《简明AI》主要作者。创作内容是基于深度学习的理论学习与应用开发技术分享,致力于最简单明了AI技术分享与最实用AI应用教程。
撰写并发表深度学习论文两篇,获得国家级及省级一等奖奖项八次,以第一作者授权实用新型及发明专利共计十余项,天池与BDCI比赛Top10奖项数次。
在某公司担任算法工程师,从事计算机视觉及时序序列数据的检测识别;深度学习工程化经验丰富,擅长针对新算法研究与应用,包括对模型调优、模型转化及多平台部署等。
展开
-
[深度学习概念]·完全图解RNN、RNN变体、Seq2Seq、Attention机制
完全图解RNN、RNN变体、Seq2Seq、Attention机制看到一篇讲的很透彻的文章,来自何之源大牛。划线部分是自己的一下理解和补充,供大家参考。。目录一、从单层网络谈起二、经典的RNN结构(N vs N)三、N VS 1四、1 VS N五、N vs M六、Attention机制七、总结本文主要是利用图片的形式,详细地介绍了经典的RNN、RNN几...转载 2019-03-15 09:27:40 · 745 阅读 · 1 评论 -
[深度学习概念]·DenseNet学习笔记(代码实现PyTorch)
DenseNet学习笔记目录前言设计理念网络结构实验结果及讨论使用Pytorch实现DenseNet小结参考文献前言在计算机视觉领域,卷积神经网络(CNN)已经成为最主流的方法,比如最近的GoogLenet,VGG-19,Incepetion等模型。CNN史上的一个里程碑事件是ResNet模型的出现,ResNet可以训练出更深的CNN模型,从而实现更高的准确...原创 2019-03-12 12:04:51 · 9610 阅读 · 3 评论 -
[深度学习概念]·数据归一化问题
预测时数据如何归一化问题?个人主页-->https://xiaosongshine.github.io/参考Batch Normalization(简称BN)的处理方法在训练时,我们会对同一批的数据的均值和方差进行求解,进而进行归一化操作。但是对于预测时我们的均值和方差怎么求呢?比如我们预测单个样本时,那还怎么求均值和方法呀!其实是这种样子的,对于预测阶段时所使用的均值和...原创 2019-03-12 11:29:18 · 1157 阅读 · 0 评论 -
[深度学习概念]·数据批归一化解析
【深度学习】批归一化(Batch Normalization)目录我们为什么需要BN?BN怎么做?BN到底解决了什么?预测时均值和方差怎么求?CNN中的BNBN是由Google于2015年提出,这是一个深度神经网络训练的技巧,它不仅可以加快了模型的收敛速度,而且更重要的是在一定程度缓解了深层网络中“梯度弥散”的问题,从而使得训练深层网络模型更加容易和稳定。所以目前BN已...转载 2019-03-12 11:16:59 · 1365 阅读 · 0 评论 -
[深度学习概念]·Siamese network 孪生神经网络简介
Siamese network 孪生神经网络--一个简单神奇的结构名字的由来Siamese和Chinese有点像。Siam是古时候泰国的称呼,中文译作暹罗。Siamese也就是“暹罗”人或“泰国”人。Siamese在英语中是“孪生”、“连体”的意思,这是为什么呢?十九世纪泰国出生了一对连体婴儿,当时的医学技术无法使两人分离出来,于是两人顽强地生活了一生,1829年被英国商人发现,...转载 2019-03-11 15:53:12 · 2790 阅读 · 0 评论 -
[深度学习概念]·图神经网络综述:模型与应用
图神经网络综述:模型与应用近年来,图神经网络的研究成为深度学习领域的热点。近日,清华大学孙茂松组在 arXiv 上发布预印版综述文章Graph Neural Networks: A Review of Methods and Applications。该文总结了近年来图神经网络领域的经典模型与典型应用,并提出了四个开放性问题。对于希望快速了解这一领域的读者,不妨先从...转载 2019-03-11 13:10:58 · 1488 阅读 · 1 评论 -
[深度学习概念]·word2vec原理讲解Negative Sampling的模型概述
word2vec原理讲解Negative Sampling的模型概述目录1.Hierarchical Softmax的缺点与改进2.基于Negative Sampling的模型概述3.基于Negative Sampling的模型梯度计算4.Negative Sampling负采样方法5.基于Negative Sampling的CBOW模型6.基于Nega...转载 2019-03-11 09:51:58 · 564 阅读 · 0 评论 -
[深度学习概念]·word2vec原理讲解
word2vec原理讲解 word2vec原理(一) CBOW与Skip-Gram模型基础 word2vec原理(二) 基于Hierarchical Softmax的模型 word2vec原理(三) 基于Negative Sampling的模型 word2vec是google在2013年推出的一个NLP工具,它的特点是将所有的词向量化,这样词与词之间就可以定...转载 2019-03-11 09:39:15 · 434 阅读 · 0 评论 -
[深度学习概念]·主流声学模型对比
主流声学模型对比目录概述基础概念语音帧语音识别系统主流声学建模技术HMMDNN-HMMFFDNNCNNRNN及LSTMCTC其他建模技术语言建模技术语音唤醒技术关于未来概述语音识别建模对语音识别来说是不可或缺的一部分,因为不同的建模技术通常意味着不同的识别性能,所以这是各个语音识别团队重点优化的方向。也正是因为如此,语音...转载 2019-03-07 12:05:25 · 8059 阅读 · 0 评论 -
[深度学习概念]·深度学习的人脸识别技术发展综述
深度学习的人脸识别技术发展综述转载地址目录前言人脸识别方法总结前言LFW数据集(Labeled Faces in the Wild)是目前用得最多的人脸图像数据库。该数据库共13,233幅图像,其中5749个人,其中1680人有两幅及以上的图像,4069人只有一幅图像。图像为250*250大小的JPEG格式。绝大多数为彩色图,少数为灰度图。该数据库采集的是自然条件下人...转载 2019-03-02 21:18:22 · 2036 阅读 · 0 评论 -
[深度学习概念]·深度学习中人脸识别开发解析
深度学习中人脸识别开发解析目录人脸识别介绍人脸识别算法实战解析参考文献人脸识别介绍人脸识别是什么人脸识别问题宏观上分为两类:1. 人脸验证(又叫人脸比对)2. 人脸识别。人脸验证做的是 1 比 1 的比对,即判断两张图片里的人是否为同一人。最常见的应用场景便是人脸解锁,终端设备(如手机)只需将用户事先注册的照片与临场采集的照片做对比,判断...转载 2019-03-02 17:55:19 · 1307 阅读 · 0 评论 -
[深度学习概念]·声纹锁与声纹识别技术原理解析
声纹锁与声纹识别技术原理解析 声纹锁的工作原理是什么?声纹识别技术原理是怎样的?声纹锁也是智能门锁的新兴品种。利用声纹识别技术进行开锁,在门锁中也开锁得到了应用。声纹锁和指纹锁有着异曲同工之妙,与指纹锁基于指纹识别技术不同的是,声纹锁是对于声音的技术识别,本文将为大家解释声纹锁识别的技术原理。什么是声纹锁声纹锁将声纹识别应用于门禁系统,实现传说中芝麻开门的神话。声纹锁建立在声...原创 2019-02-26 17:19:06 · 6395 阅读 · 0 评论 -
[深度学习概念]·深度学习性能提升的技巧
深度学习性能提升的技巧英文原文地址目录1.从数据上提升性能1)收集更多的数据2) 产生更多的数据3) 对数据做缩放4) 对数据做变换5) 特征选择6) 问题重构2. 从算法上提升性能1) 算法的筛选2) 从文献中学习3) 重采样的方法3. 从算法调优上提升性能1) 可诊断性2) 权重的初始化3) 学习率4) 激活函数5) ...翻译 2019-02-26 15:00:56 · 1157 阅读 · 1 评论 -
[深度学习概念]·实例分割模型Mask R-CNN详解
实例分割模型Mask R-CNN详解基础深度学习的目标检测技术演进解析本文转载地址 Mask R-CNN是ICCV 2017的best paper,彰显了机器学习计算机视觉领域在2017年的最新成果。在机器学习2017年的最新发展中,单任务的网络结构已经逐渐不再引人瞩目,取而代之的是集成,复杂,一石多鸟的多任务网络模型。Mask R-CNN就是典型的代表。本篇大作的一作是何...转载 2019-02-26 14:52:08 · 3954 阅读 · 1 评论 -
[深度学习概念]·声纹识别技术简介
声纹识别技术简介声纹识别,也称作说话人识别,是一种通过声音判别说话人身份的技术。从直觉上来说,声纹虽然不像人脸、指纹的个体差异那样直观可见,但由于每个人的声道、口腔和鼻腔也具有个体的差异性,因此反映到声音上也具有差异性。如果说将口腔看作声音的发射器,那作为接收器的人耳生来也具备辨别声音的能力。最直观的是当我们打电话给家里的时候,通过一声“喂?”就能准确地分辨出接电话的是爸妈或是...原创 2019-02-26 14:38:56 · 21399 阅读 · 7 评论 -
[深度学习概念]·CNN网络架构演进:从LeNet到DenseNet(代码实现基于Keras)
CNN网络架构演进:从LeNet到DenseNet卷积神经网络可谓是现在深度学习领域中大红大紫的网络框架,尤其在计算机视觉领域更是一枝独秀。CNN从90年代的LeNet开始,21世纪初沉寂了10年,直到12年AlexNet开始又再焕发第二春,从ZF Net到VGG,GoogLeNet再到ResNet和最近的DenseNet,网络越来越深,架构越来越复杂,解决反向传播时梯度消失的方法也越来越巧妙...转载 2019-02-22 14:40:16 · 1008 阅读 · 0 评论 -
[深度学习概念]·人脸识别MTCNN解析
人脸识别MTCNN解析源代码,效果相当不错(只有测试代码): https://kpzhang93.github.io/MTCNN_face_detection_alignment/index.html?from=timeline&isappinstalled=1一位同学实现的MTCNN基于MXNET的训练代码,工作比较完整,参考价值比较大: https://github.com/S...转载 2019-02-22 10:07:37 · 1574 阅读 · 0 评论 -
[深度学习概念]·非极大值抑制解析
非极大值抑制(Non-Maximum Suppression) 目录1. 什么是非极大值抑制2. 为什么要用非极大值抑制3. 如何使用非极大值抑制4. 参考资料1. 什么是非极大值抑制非极大值抑制,简称为NMS算法,英文为Non-Maximum Suppression。其思想是搜素局部最大值,抑制极大值。NMS算法在不同应用中的具体实现不太一样,但思想是一样的。非极...转载 2019-02-20 15:14:40 · 898 阅读 · 0 评论 -
[深度学习概念]·深度学习的目标检测技术演进解析
[深度学习概念]·深度学习的目标检测技术演进解析 object detection个人理解,就是在给定的图片中精确找到物体所在位置,并标注出物体的类别。object detection要解决的问题就是物体在哪里,是什么这整个流程的问题。然而,这个问题可不是那么容易解决的,物体的尺寸变化范围很大,摆放物体的角度,姿态不定,而且可以出现在图片的任何地方,更何况物体还可以是多个类别。obje...转载 2019-02-20 14:32:48 · 610 阅读 · 0 评论 -
[深度学习概念]·深度学习进行语音识别-简单语音处理
深度学习进行语音识别-简单语音处理吴恩达教授曾经预言过,当语音识别的准确度从95%提升到99%的时候,它将成为与电脑交互的首要方式。下面就让我们来学习与深度学习进行语音室识别吧!机器学习并不总是一个黑盒如果你想知道神经机器翻译是如何工作的,你应该猜到了我们可以简单地将一些声音送入神经网络,然后训练它使之生成文本:这是使用深度学习进行语音识别的最高追求,但是很遗憾我们现在还没...转载 2019-02-19 11:07:41 · 4698 阅读 · 0 评论 -
[深度学习概念]·注意力机制浅析(Attention is All You Need论文)
转载地址实战博客地址GitHub:https://github.com/xiaosongshine/transfromer_keras前言2017 年中,有两篇类似同时也是笔者非常欣赏的论文,分别是 FaceBook 的 Convolutional Sequence to Sequence Learning 和 Google 的 Attention is All You Need,...原创 2019-01-22 15:14:13 · 3313 阅读 · 1 评论 -
[深度学习概念]·谷歌transformer论文解读(转)
目录转载地址简介模型结构AttentionScaled dot-product attentionMulti-head attentionPositional EmbeddingAuto recursive decoding计算复杂度后续参考文献简介这篇博客的主要内容是对谷歌提出的transformer 进行论文解读,包含算法复杂度的分析。对应的...原创 2019-01-22 11:51:10 · 9004 阅读 · 3 评论 -
[深度学习概念]·语音识别模型WaveNet介绍
语音识别模型WaveNet介绍 这篇文章介绍了WaveNet,一种原始音频波形的深度生成模型。我们展示了WaveNets能够生成模仿任何人类语音的语音,并且听起来比现有的最佳文本语音系统更自然,与人类表现的差距缩小了50%以上。我们还演示了相同的网络可以用于合成其他音频信号,如音乐,并呈现自动生成的钢琴片的一些引人注目的样本。说话的机器允许人们与机器交谈是人机交互的长期梦想。在...翻译 2019-01-22 10:34:06 · 4797 阅读 · 1 评论 -
[深度学习概念]·模型选择、欠拟合和过拟合原理分析(基于MXNet实现)
3.1. 模型选择、欠拟合和过拟合如果你改变过实验中的模型结构或者超参数,你也许发现了:当模型在训练数据集上更准确时,它在测试数据集上却不一定更准确。这是为什么呢?3.1.1. 训练误差和泛化误差在解释上述现象之前,我们需要区分训练误差(training error)和泛化误差(generalization error)。通俗来讲,前者指模型在训练数据集上表现出的误差,后者指模型在任意...原创 2019-01-20 11:39:37 · 639 阅读 · 0 评论 -
[深度学习概念]·梯度下降原理讲解
目录梯度下降的场景假设梯度下降微分梯度梯度下降算法的数学解释梯度下降算法的实例单变量函数的梯度下降多变量函数的梯度下降梯度下降算法的实现coding time小结Further reading转载地址可以结合我的博文Numpy梯度下载实现对比来看梯度下降的场景假设 梯度 梯度下降算法的数学解释 梯度下降算法的实例 梯度下降算法的实现...原创 2019-01-20 11:29:43 · 948 阅读 · 3 评论 -
[深度学习概念]·CNN卷积神经网络原理分析
目录2.0 卷积神经网络简述2.1 二维卷积层2.1.1. 二维互相关运算2.1.2. 图像中物体边缘检测2.1.3. VGGNet实例边缘检测分析2.0 卷积神经网络简述本章将介绍卷积神经网络。它是近年来深度学习能在计算机视觉领域取得突破性成果的基石。它也逐渐在被其他诸如自然语言处理、推荐系统和语音识别等领域广泛使用。我们将先描述卷积神经网络中卷积层和池化层的工作原理...原创 2019-01-20 11:16:16 · 1595 阅读 · 1 评论 -
[深度学习概念]·深度学习简介
目录有监督的学习半监督学习无监督学习(又名Hebbian学习)回到深度学习深度学习和人工神经网络卷积神经网络循环神经网络生成对抗性网络深度学习的未来前言我们生活在这样一个世界:无论好坏,我们总是被深度学习算法所包围。从社交网络过滤到自动驾驶汽车,再到电影推荐,金融欺诈检测,药物发现……深度学习影响着我们的生活和决策。在这一文章中,将尽可能简单易懂地解...原创 2019-01-19 14:13:22 · 5224 阅读 · 0 评论 -
[深度学习概念]·深度学习Transformer模型介绍
深度学习Transformer模型介绍转载地址目录深度学习Transformer模型介绍 CNN RNN 核心问题Transformer结构 亮点self-AttentionMultiHead Attentionposition Encoding总结一下动机常见的seq2seq问...转载 2019-01-18 22:32:36 · 15228 阅读 · 2 评论