深度学习笔记
文章平均质量分 83
物理小乾乾
这个作者很懒,什么都没留下…
展开
-
机器学习之SVM算法常用问题
1.SVM原理SVM是一种二类分类模型,它的基本模型是在特征空间中寻找间隔最大化的分离超平面的线性分类器。(1)当训练样本线性可分时,通过硬间隔最大化,学习线性分类器,即线性可分支持向量机。(2)当训练数据近似线性可分时,引入松弛变量,通过软间隔最大化学习一个线性分类器(3)当训练数据线性不可分时,通过使用核技巧及软间隔最大化,学习非线性支持向量机2. SVM为什么间隔最大...转载 2018-03-24 12:17:40 · 668 阅读 · 0 评论 -
python各种包下载网站
在执行python程序时,经常会出现如下的错误:no moduled named xxx此时一般情况下我们执行pip install xxx但是,有时候会总是安装不成功,此时我们可以直接网站上手动下载好,然后进行安装,同样是用pip install xxx。注意:此时的xxx是包的全名各种包的下载网站https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml原创 2018-01-08 21:03:41 · 2787 阅读 · 0 评论 -
深度学习笔记之caffe安装教程
本文参考自http://blog.csdn.net/u010193446/article/details/53259294我安装的是基于ubuntu16.04的cpu版本。说明一下:因为我先前已经安装了anaconda3.6,所以python版本是3.6,但是发现caffe貌似还没有那么高的对应版本。所以我就切换到了管理员权限,那里的python版本是2.7的,刚好符合caffe版本。如下所示:l转载 2018-01-08 09:51:18 · 427 阅读 · 0 评论 -
深度学习笔记之自然语言处理(word2vec)
1.1 自然语言处理的应用 拼写检查,关键词搜索 文本挖掘 文本分类 机器翻译 客服系统 复杂对话系统1.2 语言模型举个例子: 这里有一句话:“我今天下午打篮球。” p(S)是称为语言模型,即用来计算一个句子概率的模型。 如下的语言模型,会造成数据过于稀疏,参数空间太大。 用下述的方式可以解决上面的问题。如下: 假设下一个词的原创 2018-01-05 10:47:45 · 1811 阅读 · 2 评论 -
吴恩达深度学习笔记之结构化机器学习(一)
1.1 机器学习策略(ML Strategy)我们在训练深度学习网络的时候,有一下一些策略,提高我们的网络性能。如下图所示: 1.2 正交化(Orthogonalization)要弄好一个监督学习系统,我们需要调我们的系统旋钮确保四件事情。如下所示: 第一:确保在训练集上的结果不错,我们可以通过训练更大的网络,或者选择更好的优化算法。 第二:确保在开发集上不错,我们可以通过正则化或者数据扩充来原创 2017-12-27 22:09:08 · 1561 阅读 · 0 评论 -
吴恩达深度学习笔记之结构化机器学习(二)
2.1 清楚标注错误的数据如果我们发现我们的数据有一些标记错误的例子,我们该怎么办?我们首先来考虑训练集,事实证明,深度学习算法,对于训练集中的随机误差是相当鲁棒的,只要我们的标记出错的例子,只要这些错误例子离随机误差不太远,误差足够随机,那么放着这些误差不管可能也没问题,而不需要花太多时间修复他们。 深度学习算法对随机误差很鲁棒,但是对系统性的误差就没那么鲁棒了,我们做标记的人一直把白色的狗标记原创 2017-12-28 17:17:40 · 522 阅读 · 0 评论 -
唐宇迪强化学习笔记之项目实战(flabby bird)
强化学习: 学习系统没有像很多其它形式的机器学习方法一样被告知应该做出什么行为,必须在尝试了之后才能发现哪些行为会导致奖励的最大化,当前的行为可能不仅仅会影响即时奖励,还会影响下一步的奖励以及后续的所有奖励。强化学习的五个关键字:强化学习的学习过程:总的来说就是先观测,再行动,再观测。如下图所示: 以下是强化学习的原理图: 马尔科夫决策要求: 1.能够检测到理想的状态 2.可以多原创 2018-01-03 14:47:23 · 3691 阅读 · 1 评论 -
吴恩达深度学习笔记之卷积神经网络(实例探究)
2.1 为什么要进行实力探究(why look case studies)这周我们来看看卷积神经网络的实例分析。 为什么要看这些案例分析呢?上周我们讲了基本构建,比如卷积层,池化层以及全连接层这些组件,事实上,过去几年,计算机视觉中的大量研究都集中在如何把这些基本构建组合起来,形成有效的卷积神经网络,找感觉最好的方法之一是看一些案例。 实际上,在计算机视觉中表现良好的神经网络框架往往也适用于其他原创 2017-12-18 21:50:11 · 6771 阅读 · 1 评论 -
吴恩达深度学习笔记之卷积神经网络(卷积网络)
1.1 计算机视觉(computer vision) 应用计算机视觉存在一个挑战:就是数据的输入可能会非常大,例如,过去一般的操作是64*64的小图片,实际上它的数据量是64*64*3,因为每张图片还有3个颜色通道,如果计算一下,可以得知数据量是12288,所以我们的特征向量X维度是12288,这其实不算大,但是如果操作更大的图片,比如一张1000*1000的图片,则其特征向量维度X为1000原创 2017-12-18 16:33:14 · 1947 阅读 · 0 评论 -
吴恩达深度学习笔记之改善神经网络(三)
3.1 调试处理(Tuning process)神经网路的改变会涉及到许多不同的超参数的设置。下面我们介绍一些指导性原则。 关于训练深度最难的事情之一就是,我们要处理的参数的数量,从学习速率α\alpha 到momentum的β\beta ,如果使用momentum或者Adam优化算法的参数即β1{\beta _1},β2{\beta _2}以及ε{\rm{\varepsilon }},也许我们还原创 2017-12-23 22:09:46 · 579 阅读 · 0 评论 -
吴恩达深度学习笔记之改善神经网络(二)
2.1 mini-batch 梯度下降法(mini-batch gradient descent)我们知道,向量化可以让我们有效的对所有的m个训练样例进行计算,允许我们处理整个训练集,而无需某个明确的公式,所以我们要把训练样本放到巨大的矩阵x当中去。向量化能够让我们相对较快的处理m个样本,但如果是很大的话,处理速度仍然缓慢。mini-batch要做的就是将整个训练集分割为小一点的子训练集。比如,我们原创 2017-12-23 19:59:07 · 464 阅读 · 0 评论 -
吴恩达深度学习笔记之改善神经网络(一)
1.1 Train/dev/test sets在配置训练,验证,和测试数据集的过程中做出正确决策,会在很大程度上帮助大家创建高效的神经网络。训练神经网络的时候,我们需要做出很多决策。例如:神经网络分多少层,每层包含多少神经元,以及学习速率是多少。 实际上,应用型机器学习是一个高度迭代的过程,下面的示例图可以表示我们训练一个神经网路的过程。![这里写图片描述](http://img.blog.csd原创 2017-12-21 09:37:52 · 971 阅读 · 0 评论 -
深度学习之momentum,RMSprop,Adam优化算法
momentum算法: 除了batch/mini-batch/stochastic gradient descent 梯度下降法,还有一种算法叫做momentum梯度下降法,运行速度几乎总是快于标准的地图下降法,简而言之,基本的思想就是计算梯度的指数加权平均数,并利用该梯度更新权重 ,以下是batch/mini-batch gradient descent以及momentum梯度下原创 2017-11-25 09:25:50 · 4068 阅读 · 0 评论 -
吴恩达深度学习笔记之卷积神经网络(特殊应用)
4.1 人脸识别Verification (1) Input image,name/ID (2) Output whether the input image is that of the claimed personRecognition (1) Has a database of k persons (2) Get an input image (原创 2017-12-20 17:55:47 · 1552 阅读 · 0 评论 -
吴恩达深度学习之序列模型(一)
1.1 为什么选择序列模型(why sequence models?)循环神经网络之类的模型在自然语言处理,语音识别有着广泛地应用,如音乐生成,电影评分,机器翻译等。如下图所示:1.2 数学符号(Notation)我们如果想建立一个序列模型它的输入语句如下: 假设我们建立一个能够自动识别句中人名位置的序列模型,那么这就是一个命名实体识别问题,命名实体识别常用于搜索引擎。 我们看到上述输入数据原创 2018-04-08 14:12:27 · 528 阅读 · 0 评论