![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Data Science:深度学习
文章平均质量分 76
图灵的猫.
给行业以ai,而不是给ai以行业
展开
-
距离,范数与相似度
在数据分析和数据挖掘的过程中,我们经常需要知道个体间差异的大小,进而评价个体的相似性和类别。最常见的是数据分析中的相关分析,数据挖掘中的分类和聚类算法,如K最近邻(KNN)和K均值(K-Means)。当然衡量个体差异的方法有很多,最近查阅了相关的资料,这里整理罗列下。为了方便下面的解释和举例,先设定我们要比较X个体和Y个体间的差异,它们都包含了N个维的特征,即X=(x1, x2, x3, … xn...原创 2018-02-14 20:04:04 · 2450 阅读 · 0 评论 -
详解tf.Session()和tf.InteractiveSession()的区别
他们之间的区别就是后者加载自身作为默认的Session。tensor.eval()和operation.run()可以直接使用。下面是这两个函数的定义注释(其实官方讲的的很详细了)原创 2018-09-28 16:36:56 · 6079 阅读 · 0 评论 -
DLL load failed: 找不到指定模块\Failed to load the native TensorFlow runtime解决方法
tensorflow-gpu v1.8.0 | cuda9.0 | cuDNN 不明确 | 备注:7.0.4/ 7.0.5/ 7.1.2/ 7.1.4。tensorflow-gpu v1.7.0 | cuda9.0 | cuDNN 不明确 | 备注:7.0.4/ 7.0.5/ 7.1.2/ 7.1.4。tensorflow-gpu v1.6.0 | cuda9.0 | cuDNN 不明确 | 备注:7.0.4/ 7.0.5/ 7.1.2/ 7.1.4。原创 2018-10-13 22:04:48 · 91345 阅读 · 26 评论 -
[NLP自然语言处理]谷歌BERT模型深度解析
全部两个衡量指标上全面超越人类,并且还在11种不同NLP测试中创出最佳成绩,包括将GLUE基准推至80.4%(绝对改进7.6%),MultiNLI准确度达到86.7% (绝对改进率5.6%)等。可以预见的是,BERT将为NLP带来里程碑式的改变,也是NLP领域近期最重要的进展。BERT模型开启了NLP的新时代!从现在的大趋势来看,使用某种模型预训练一个语言模型看起来是一种比较靠谱的方法。原创 2018-10-15 17:49:18 · 106457 阅读 · 21 评论 -
深度学习中为什么要使用多于一个epoch?
我的机器学习教程「美团」算法工程师带你入门机器学习 已经开始更新了,欢迎大家订阅~任何关于算法、编程、AI行业知识或博客内容的问题,可以随时扫码关注公众号「图灵的猫」,加入”学习小组“,沙雕博主在线答疑~此外,公众号内还有更多AI、算法、编程和大数据知识分享,以及免费的SSR节点和学习资料。其他平台(知乎/B站)也是同名「图灵的猫」,不要迷路哦~什么是...原创 2018-11-25 11:42:55 · 21499 阅读 · 6 评论 -
BPTT算法推导以及LSTM是如何解决梯度消失的
在博客里看见的一个非常有用的推导过程,自己记录一下之后复习用:下面贴一下笔记:转载 2019-05-11 11:17:11 · 1106 阅读 · 0 评论 -
手把手教你在Linux上安装CUDA9.0(以及如何避开所有的坑)
本篇文章是基于安装CUDA 9.0以及Ubuntu的经验写,CUDA9.0目前支持Ubuntu16.04和Ubuntu17.04两个版本,如下图所示(最下面的安装方式我们选择第一个,即runfile方式):大家可以先将CUDA文件下载下来,但是最好不要急于安装,一定要先将NVIDIA给出官方指导手册仔细看一下,然后再找几篇好的博客看一下,大致了解一下CUDA的安装过程,对安装过程中可能出现的问题要大致有一个了解,不到万不得已不要重装系统。原创 2018-09-24 16:24:06 · 56200 阅读 · 4 评论 -
深度学习入门:一文详解BP神经网络
在BP神经网络中,输入层和输出层的节点个数都是确定的,而隐含层节点个数不确定,那么应该设置为多少。实际上,隐含层节点个数的多少对神经网络的性能是有影响的,有一个经验公式可以确定隐含层。上面是对隐含层和输出层之间的权值和输出层的阀值计算调整量,而针对输入层和隐含层和隐含层的阀值调。在BP神经网络中,输入层节点没有阀值。神经网络,神经网络在机器学习中应用比较广泛,比如函数逼近,模式识别,分类,数据压缩,数据。要求输入模式要有足够的随机性,对输入模式的噪声比较敏感,即对于剧烈变化的输入模式,训。原创 2018-04-19 16:41:57 · 37546 阅读 · 2 评论 -
一文详解什么是RNN(循环神经网络)
如图所示,你会发现每个cell都会有一个损失,我们已经定义好了损失函数,接下来就是熟悉的一步了,那就是根据损失函数利用SGD来求解最优参数,在CNN中使用反向传播BP算法来求解最优参数,但在RNN就要用到BPTT,它和BP算法的本质区别,也是CNN和RNN的本质区别:CNN没有记忆功能,它的输出仅依赖与输入,但RNN有记忆功能,它的输出不仅依赖与当前输入,还依赖与当前的记忆。在图像处理中,目前做的最好的是CNN,而自然语言处理中,表现比较好的是RNN,因此,我们能否把他们结合起来,一起用呢?原创 2018-04-25 18:21:04 · 58499 阅读 · 10 评论 -
深度学习:什么是自编码器(Autoencoder)
该过程可以看作是对输入数据的压缩编码,将高维的原始数据用低维的向量表示,使压缩后的低维向量能保留输入数据的典型特征,从而能够较为方便的恢复原始数据。例如下图所示,将手写数字图片进行编码,编码后生成的 ϕ1ϕ1, ϕ2ϕ2, ϕ3ϕ3, ϕ4ϕ4, ϕ5ϕ5, ϕ6ϕ6 较完整的保留了原始图像的典型特征,因此可较容易地通过解码恢复出原始图像。autoencoder是一种无监督的学习算法,主要用于数据的降维或者特征的抽取,在深度学习中,autoencoder可用于在训练阶段开始前,确定权重矩阵WW的初始值。原创 2018-06-14 20:25:48 · 51229 阅读 · 3 评论 -
深度学习:前馈神经网络与BP反向传播
前馈神经网络(feedforward neural network),简称前馈网络,是人工神经网络的一种。在此种神经网络中,各神经元从输入层开始,接收前一级输入,并输出到下一级,直至输出层。整个网络中无反馈,可用一个有向无环图表示。前馈神经网络采用一种单向多层结构。其中每一层包含若干个神经元,同一层的神经元之间没有互相连接,层间信息的传送只沿一个方向进行。其中第一层称为输入层。最后一层为输出层.中间为隐含层,简称隐层。隐层可以是一层。也可以是多层。原创 2018-06-15 20:42:15 · 5852 阅读 · 1 评论 -
一个有趣的说法:多层神经网络的致命问题与过拟合
Bengio在一书中举了一个有趣的例子。他说:最近有人表示,他们用传统的深度神经网络把训练error降到了0,也没有用你的那个什么破Pre-Training嘛!然后Bengio自己试了一下,发现确实可以,但是是建立在把接近输出层的顶隐层神经元个数设的很大的情况下。于是他把顶隐层神经元个数限到了20,然后这个模型立马露出马脚了。无论是训练误差、还是测试误差,都比相同配置下的Pre-Training方法差许多。也就是说,顶层神经元在对输入数据直接点对点记忆,而不是提取出有效特征后再记忆。原创 2018-08-14 19:17:02 · 720 阅读 · 0 评论 -
对全连接层(fully connected layer)的通俗理解
全连接层(fully connected layers,FC)在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话,全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使用中,全连接层可由卷积操作实现:对前层是全连接的全连接层可以转化为卷积核为1x1的卷积;而前层是卷积层的全连接层可以转化为卷积核为hxw的全局卷积,h和w分别为前层卷积结果的高和宽。全连接的核心操作就是矩阵向量乘积 y = Wx。原创 2018-08-03 11:58:41 · 264096 阅读 · 27 评论 -
深度学习中的“卷积”与数学中的“卷积”有何不同
在乘数不大时这么干显得有点蛋疼,不过要计算很长很长的两个数乘积的话,这种处理方法就能派上用场了,因为你可以用快速傅立叶变换 FFT 来得到卷积,比示例里的硬乘要快。我们有的时候会希望跳出核中的一些位置来降低计算的开销(相应的代价是提取特征没有先前那么好了)我们就把这个过程看作对全卷积函数输出的。注意第二个等号右边每个括号里的系数构成的序列 (14,34,14,4),实际上就是序列 (2,4) 和 (7,3,1) 的卷积。两个多项式乘积的在基上展开的系数就是两个多项式各自在基上展开系数的卷积。原创 2018-08-13 19:40:37 · 6824 阅读 · 0 评论 -
详解tensorflow数据读取-tf.train.string_input_producer和tf.train.start_queue_runners
一、tensorflow读取机制图解首先需要思考的一个问题是,什么是数据读取?以图像数据为例,读取数据的过程可以用下图来表示:假设我们的硬盘中有一个图片数据集0001.jpg,0002.jpg,0003.jpg……我们只需要把它们读取到内存中,然后提供给GPU或是CPU进行计算就可以了。这听起来很容易,但事实远没有那么简单。事实上,我们必须要把数据先读入后才能进行计算,假设读入用...转载 2019-06-28 16:44:37 · 3036 阅读 · 0 评论