深度学习
喂鱼W_y
一枚小白,立志学好python!
展开
-
深度学习中的优化不同于一般优化算法
一、经验风险最小化1、机器学习中我们关注某些性能度量P,其定义在测试集上并且可能不可解。我们需要间接优化P。我们通过降低代价函数J(θ)" role="presentation" style="position: relative;">J(θ)J(θ)J(\theta)来提高P。 通常代价函数可写为训练集上的平均,如: J(θ)=E(x,y)∼p&转载 2017-12-13 21:07:33 · 1297 阅读 · 0 评论 -
(转)Hinton、LeCun和Bengio——深度学习综述
本文是《Nature》杂志为纪念人工智能60周年而专门推出的深度学习综述,也是Hinton、LeCun和Bengio三位大神首次合写同一篇文章。该综述在深度学习领域的重要性不言而喻,可以说是所有人入门深度学习的必读作品。本文上半部分深入浅出介绍深度学习的基本原理和核心优势,下半部分则详解CNN、分布式特征表示、RNN及其不同的应用,并对深度学习技术的未来发展进行展望。原文链接:http...转载 2018-07-18 22:50:48 · 3136 阅读 · 0 评论 -
深度学习之Batch Normalization
BN(Batch Normalization),顾名思义也就是“批规范化“。目前很多深度学习网络中都会加入BN层,那么它为何这么有效呢?1、BN是什么?与激活层、卷积层、池化层一样,BN也属于神经网络的一层。在每次SGD时,通过mini-batch来对相应的activation做规范化操作,使得结果(输出信号各个维度)的均值为0,方差为1(cnn中BN一般加在卷积层与激活层之间)。但是...原创 2018-05-28 15:43:44 · 329 阅读 · 0 评论 -
机器学习之面试题
翻看csdn里的博客,无意间看到一篇分享机器学习面试经验的文章,里面博主列举了他面试遇到的问题,我觉得很不错,然后加上我个人的理解分享给需要的人。1、 什么是boosting tree?提升方法(boosting)是一种常见的统计学习方法,它的理论基础是:强可学习与弱可学习是等价的,在概率近似正确(PAC)学习的框架下:强可学习是一个概念,若存在一个多项式的学习算法能够学习它,并且正...原创 2018-04-21 13:53:43 · 2420 阅读 · 0 评论 -
神经网络之激活函数
隐藏单元的选择是神经网络设计中的一个活跃的研究领域,目前尚未有明确的指导性理论原则。 通常我们都默认选择整流线性单元作为隐藏单元,但仍有一些其他类型的隐藏单元是可用的。我们尝试建立一些对每种隐藏单元的基础直觉,通常我们无法预先得知哪种隐藏单元表现最好,设计过程中需要不断的试错,用不同的隐藏单元组成网络进行训练,最后用验证集来评估其性能。 我们知道大多数参数化机器学习模型都是使用基于梯度的优化方...转载 2018-04-03 19:25:09 · 511 阅读 · 0 评论 -
nlp之词汇分布式表征
1、word embedding词嵌入,也叫词向量。对于文本数据,我们需要将其转换为数值型才能输入到模型中。词向量就是这样一种转换数据的方法。通常我们表示文本数据是将其one-hot编码,比如某文本有10000个不同的词汇,我们将其编码成10000维的向量,其中只在某一位数值是1,其他是0。那么一个语句包含了多个词汇,我们如何将其转化为多维向量。一种是纯粹的自用one-hot编码即可,但是这样...原创 2018-03-28 14:58:54 · 1828 阅读 · 0 评论 -
深度学习模型(two)-LSTM
循环神经网络(Recurrent Neural Networks)翻译自:Understanding LSTM Networks当你阅读这篇文章时,你会根据已掌握的词汇来理解文中词语的意思,你不会说仍掉所有的东西来重新进行思考,因为人的思考是具有连续性的。传统的神经网络无法做到这一点,这是一个很大的缺点。例如,假设您想分类电影中每个时间点发生的事件类型。 目前还不清楚传统神经网络如何利用电...翻译 2018-03-16 17:26:29 · 6674 阅读 · 0 评论 -
深度学习模型汇总(one)
1、卷积神经网络CNN\quad从神经学角度来说,卷积神经网络的设计灵感来自人脑视觉皮层对外界事物的感知,人眼以图像的形式把感知到的事物传递给大脑,大脑童工逐层的对该图像进行抽象,抽取出图像的边角等代表图像的高维特征给大脑作出准确的判断。\quadCNN的两个核心操作:卷积和池化.卷积:主要作用是抽取特征,是网络具有一定转移不变性,也有一定降维作用。一般设定一个3*3或5*5的卷积窗...转载 2018-03-15 16:25:23 · 12189 阅读 · 1 评论 -
tensorflow学习笔记(1)
使用tensorflow实现一个简单的卷积网络,使用数据集MNIST,预测可以达到99.2%的准确率。卷积网络由两个卷积层加一个全连接层构成。 -- coding: utf-8 -- “”” Spyder Editor This is a temporary script file. “”” import tensorflow as tf fro翻译 2017-09-08 00:05:16 · 849 阅读 · 0 评论 -
Google自动编码框架AutoML
概述:什么是AutoML?目前机器学习(machine leraning)成功的关键在于人类工程师完成如下的工作:预处理数据选择适当的功能选择一个适当的模型选择系列优化模型超参数后处理机器学习模型严格分析所得结果AutoML自动机器学习致力于研究机器学习自动化实现,面向没有专业机器学习知识的用户。同时也向专业机器学习人士提供了新的工具,如:执行深层表示的框架搜索;分析超参...转载 2018-07-14 23:24:28 · 3710 阅读 · 0 评论