深度学习笔记
五癫
武汉理工大学软件工程
展开
-
深度学习开篇简介-人工智能
qi1.什么是人工智能?红色部分源于百度百科::人工智能(Artificial Intelligence),英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。2.人工智能具有的特性?个人理解,它至少需要能以某种形式感知事物,能根据感知到的信息进行分析,并且能最后给出决策。(感知->分析(理解)->决策)最重要的特性:当然是原创 2017-08-26 10:33:27 · 389 阅读 · 0 评论 -
CS224N研究热点2_Linear Algebraic Structure of Word Senses, with Applications to Polysemy(对于一词多义的向量表示研究)
Paper:Linear Algebraic Structure of Word Senses, with Applications to Polysemy源代码词向量编码的相似性相似的单词的词向量编码在欧几里得空间中的分布会彼此相邻:如何表示多义词?比如,tie在游戏比赛的平局;在衣服中的领带;或者表示一种扭曲的动作。实际得到的tie的词向量是tie-1、tie-2、tie-3...转载 2019-02-21 13:01:06 · 576 阅读 · 0 评论 -
归一化 (Normalization)、标准化 (Standardization)和中心化/零均值化 (Zero-centered)
1 概念 归一化:1)把数据变成(0,1)或者(1,1)之间的小数。主要是为了数据处理方便提出来的,把数据映射到0~1范围之内处理,更加便捷快速。2)把有量纲表达式变成无量纲表达式,便于不同单位或量级的指标能够进行比较和加权。归一化是一种简化计算的方式,即将有量纲的表达式,经过变换,化为无量纲的表达式,成为纯量。 标准化:在机器学习中,我们可能要处理不同种类的资料,例如,音讯和图片上的像素...转载 2019-03-05 11:21:43 · 1812 阅读 · 0 评论 -
Windows下用Anaconda安装TensorFlow
笔者之前在学习TensorFlow,也在自己的笔记本上完成了安装,在PyCharm中进行学习。但是最近为了使用Python的科学计算环境,我把之前的环境卸载了,并用Anaconda重新安装了TensorFlow,由于自己的笔记本已经很旧了,显卡不行,所以这里介绍一下cpu版本的安装方法和自己遇到的一些坑,截图甚多。这里直接上干货:1.安装Anaconda选择相应的Anaco转载 2017-11-26 21:22:49 · 301 阅读 · 0 评论 -
简单粗暴理解方向传播算法
说明学习深度学习的过程中,遇到了一个用例子讲解反向传播算法的博文,简单粗暴容易理解,很适合我这种小白,所以打算翻译一下分享,英文水平有限,翻译不对的地方请告知。原文地址在这。下面是译文。背景反向传播在神经网络的训练中是一种经常被用到的算法。关于反向传播算法网上有很多讲解,但是很少有用真实的数字为大家举例子来解释的。在本篇博文中,我将努力用一个具体的例子来解释反向传播是怎样工转载 2017-11-26 10:28:29 · 2005 阅读 · 0 评论 -
深度学习-梯度下降和梯度爆炸问题
随着神经网络层数的增加,会出现梯度消失或者梯度爆炸的问题,下面细说下问什么会出现: 起初的学习率固定。 下面来看几组通过增加隐藏层层数后的学习率变化图:转载 2017-12-03 11:38:15 · 1103 阅读 · 0 评论 -
RNN公式推导
循环神经网络神经网络是由一层一层的神经元首尾相连构成,通常情况下网络分为输入层、隐层和输出层三种。而这里要讲的循环神经网络,是下面这样一种结构: 如上图所示RNN结构,其隐层除了传递信息给输出层,还会传给自己,换句话说,就是传给下一时刻的隐层。这样做的目的在于,让神经网络在时间维度上产生“记忆”。至于RNN的应用场景,可自行查资料了解。话不多说,接下来我们直接开始公式推转载 2017-12-03 11:10:04 · 2182 阅读 · 2 评论 -
机器学习-梯度下降法实现线性回归
1. 背景文章的背景取自An Introduction to Gradient Descent and Linear Regression,本文想在该文章的基础上,完整地描述线性回归算法。部分数据和图片取自该文章。没有太多时间抠细节,所以难免有什么缺漏错误之处,望指正。线性回归的目标很简单,就是用一条线,来拟合这些点,并且使得点集与拟合函数间的误差最小。如果这个函数曲线是一条直转载 2017-11-21 21:52:05 · 776 阅读 · 0 评论 -
ubuntu14.04下安装eclipse+PyDev
1.环境说明 我选用的环境:ubuntu14.04 64位 选择eclipse luna + jdk1.7+PyDev4.5.5(注意eclipse/jdk/PyDev版本的对应性,很多人安装失败就是因为版本的不匹配)----pydev官方的说法是 pydev5以上都是需要jdk8+Eclipse4.5以上的支持才行 2.eclipse的安装进入官网,选择eclips...原创 2017-10-10 18:48:24 · 645 阅读 · 1 评论 -
深度学习-超参数和交叉验证
1.什么是超参数没接触过机器学习的人可能对这个概念比较模糊。我们可以从两方面来理解(1)参数值的产生由来超参数是在开始学习过程之前设置值的参数(人为设置),而不是通过训练得到的参数数据。(2)超参数含义定义关于模型的更高层次的概念,如复杂性或学习能力。不能直接从标准模型培训过程中的数据中学习,需要预先定义。可以通过设置不同的值,训练不同的模型原创 2017-08-26 12:37:25 · 7521 阅读 · 0 评论 -
深度学习开篇简介-图像分类常规模式举例
1.问题描述现在我们有一组标签:猫 狗 飞机 汽车输入是一张图请输出图中内容的标签2.图像在计算机中的表示灰度图像用二维数组表示,数值范围是0~255,彩色RGB图像用三维数组表示,最后一维长度为3,(1,2,3分别表示RGB三个分量),对于每一个分量,数值范围也是0~255。红、绿、蓝三个通道的缩略图,都是以灰度显示的,用不同的灰度色阶来表示“ 红,绿,蓝”在图像原创 2017-08-26 11:51:32 · 503 阅读 · 0 评论 -
relu神经元死亡的一种角度解释
最近在阅读 Airbnb 的论文Applying Deep Learning to Airbnb Search。阅读的过程中,我发现作者在谈及特征归一化的必要性时,有如下表述:Feeding values that are outside the usual range of features can cause large gradients to back propagate. Thi...转载 2019-07-18 18:06:41 · 9930 阅读 · 2 评论