deep learning
AI_盲
努力爬。。。
展开
-
简单阐述深度学习与机器学习的差异
深度学习与机器学习的差异性主要表现在以下几个方面: 1、数据依赖性深度学习一般需要大量数据用于训练,而机器学习相对于深度学习没有那么大的数据依赖量,在数据相对较少的情况下也适用。2、硬件依赖深度学习复杂性更大,处理数据的硬件要求比较高,一般使用GPU并行处理,而机器学习相关模型一般在CPU上就可以完成处理。3、特征工程深度学习算法尝试从数据中学习到更加抽象的特征,使得用户不原创 2017-04-11 23:39:13 · 2093 阅读 · 0 评论 -
机器学习调参经验:学习速率、正则项系数、minibatch size
学习速率(learning rate,η)运用梯度下降算法进行优化时,权重的更新规则中,在梯度项前会乘以一个系数,这个系数就叫学习速率η。下面讨论在训练时选取η的策略。固定的学习速率。如果学习速率太小,则会使收敛过慢,如果学习速率太大,则会导致代价函数振荡,如下图所示。就下图来说,一个比较好的策略是先将学习速率设置为0.25,然后在训练到第20个Epoch时,学习速率改为0.025转载 2017-04-19 10:04:26 · 4787 阅读 · 1 评论 -
Batch Normalization & Layer Normalization整理(代码实现下载)
以下为layer normalisation文章解析:摘要训练目前性能最好的深度神经网络计算代价高昂. 一种减少训练时间的方法是规范化神经元的激活值. 近期引入的批规范化(batch normalisation)技术对一个训练样本批量集使用了求和的输入分布来计算均值和方差,然后用这两个来规范化那个神经元在每个训练样本的求和输入. 这个方法显著减少了前驱神经网络的训练时间.原创 2017-04-19 10:32:59 · 10205 阅读 · 0 评论 -
RNN(LSTM)用于分类
import tensorflow as tfimport sysimport random from sklearn.cross_validation import train_test_splitfrom sklearn.cross_validation import StratifiedKFold #StratifiedKFoldimport matplotlib.pyplot原创 2017-04-27 16:53:36 · 20101 阅读 · 8 评论 -
面试常问的深度学习(DNN、CNN、RNN)的相关问题
CNN: 1)卷积:对图像元素的矩阵变换,是提取图像特征的方法,多种卷积核可以提取多种特征。一个卷积核覆盖的原始图像的范围叫做感受野(权值共享)。一次卷积运算(哪怕是多个卷积核)提取的特征往往是局部的,难以提取出比较全局的特征,因此需要在一层卷积基础上继续做卷积计算 ,这也就是多层卷积。2)池化:降维的方法,按照卷积计算得出的特征向量维度大的惊人,不但会带来非常大的计算量,而且容易出现过拟合,原创 2017-07-24 16:46:40 · 56229 阅读 · 3 评论 -
深度学习之优化算法详解
梯度下降(batch gradient descent, stochastic gradientdescent, 以及 mini-batchgradient descent)现在的SGD一般都指mini-batch gradient descent(1)Batch gradientdescent:最小化所有训练样本的损失函数。得到的是一个全局最优解,但是每迭代一步,都要用到训练集所有的数...原创 2017-08-24 14:41:17 · 6448 阅读 · 1 评论 -
Keras实现CNN、RNN(基于attention 的双向RNN)及两者的融合
本文主要采用CNN,RNN对时序数据进行二分类CNN处理时序数据的二分类model = Sequential()model.add(Conv1D(128, 3, padding='same', input_shape=(max_lenth, max_features)))model.add(BatchNormalization())model.add(Activation('relu'))...原创 2018-04-24 10:50:34 · 19970 阅读 · 3 评论