神经网络+深度学习(算法)
Soyoger
申明:个人微信公众号:AI技术研习社,公众号ID:ai2club。本博客只是用来学习,并不从事任何商业活动,其内容是自己总结或者来自互联网搜索到的,并没有过多关注版权问题,如有侵权内容,请私信我进行删除,谢谢。本博客内容主要围绕计算机领域热点技术和工作内容,不涉及版权问题,任何人可以查看、转载。
展开
-
卷积神经网络技术及发展
摘要 过去几年,深度学习在解决诸如视觉识别、语音识别和自然语言处理等很多问题方面都表现出色。在不同类型的神经网络当中,卷积神经网络是得到最深入研究的。早期由于缺乏训练数据和计算能力,要在不产生过拟合的情况下训练高性能卷积神经网络是很困难的。标记数据和近来GPU的发展,使得卷积神经网络研究涌现并取得一流结果。本文中,我们将纵览卷积神经网络近来发展,同时介绍卷积神经网络在视觉识别方面的一些应用。转载 2017-07-10 21:06:19 · 5094 阅读 · 0 评论 -
谈谈batchsize参数
1.当数据量足够大的时候可以适当的减小batch_size,由于数据量太大,内存不够。但盲目减少会导致无法收敛,batch_size=1时为在线学习,也是标准的SGD,这样学习,如果数据量不大,noise数据存在时,模型容易被noise带偏,如果数据量足够大,noise的影响会被“冲淡”,对模型几乎不影响。2.batch的选择,首先决定的是下降方向,如果数据集比较小,则完全可以采用全数据集的形原创 2017-11-29 09:48:47 · 27283 阅读 · 3 评论 -
java深度学习(一)Maven创建一个新的ND4J工程
Starting a New ND4J ProjectTo create a new ND4J project within IntelliJ, either click on “Open Project” on IntelliJ’s opening screen, or click on the File/Open tab, and choose “nd4j.” If you have cl原创 2017-11-04 21:48:26 · 4389 阅读 · 0 评论 -
深度学习中的Dropout原理介绍
如果网络的问题在于连接密集,那么久强制让它稀疏,基于这种想法的算法就是dropout算法。一:引言 因为在机器学习的一些模型中,如果模型的参数太多,而训练样本又太少的话,这样训练出来的模型很容易产生过拟合现象。在训练bp网络时经常遇到的一个问题,过拟合指的是模型在训练数据上损失函数比较小,预测准确率较高(如果通过画图来表示的话,就是拟合曲线比较尖,不平滑,泛化能力不好),原创 2017-11-04 18:27:12 · 4623 阅读 · 1 评论 -
谷歌大脑自门控激活函数Swish
最近谷歌大脑公布了一个新的激活函数,叫做 Swish 激活函数。这个函数非常的有趣,很多人都把它应用到一些小的神经网络和大的神经网络中去测试它的性能。所以,我也打算去 kaggle 上面测试一些这个函数的性能如何。Swish 激活函数的数学公式非常的简单,即 f(x) = x * sigmoid(x) 。根据谷歌大脑的论文,该激活函数的性能比 ReLU 激活函数的性能要好很多。原创 2017-11-08 00:33:44 · 2934 阅读 · 0 评论 -
深度学习:梯度消失和梯度爆炸
梯度消失主要是因为网络层数太多,太深,导致梯度无法传播。本质应该是激活函数的饱和性。DNN结果出现nan值?梯度爆炸,导致结果不收敛。都是梯度太大惹的祸,所以可以通过减小学习率(梯度变化直接变小)、减小batch size(累积梯度更小)、 features规格化(避免突然来一个大的输入)。RNN的梯度爆炸和消失问题不幸的是,实践中前面介绍的几种RNNs并不能很好的处理转载 2017-11-08 00:28:33 · 3707 阅读 · 0 评论 -
Google Wide&&Deep Model
谷歌的GooglePlay的推荐模型Wide and Deep Learning 模型,目前已经提供了tensorflow的开源版本。本文使用keras完成:#coding: utf-8'''用keras写的google Wide&&Deep model'''import pandas as pdfrom keras.models import Sequential原创 2017-07-08 20:44:26 · 1870 阅读 · 0 评论 -
BP+SGD+激活函数+代价函数+基本问题处理思路
今天读到这篇文章,对之前发的几篇博客来说是非常好的总结,所以转载 过来学习啦!0. 学习模型评价标准 1)学习速度 2)推广能力/泛化能力/Generalize1. 反向传播算法计算全过程 目标:计算出权重和偏差的梯度(通过反向传播误差的方式)。 下例中,其激活函数为Sigmoid函数: 2. 随机梯度下降法计算全过程转载 2017-07-08 20:39:19 · 754 阅读 · 0 评论 -
人工神经网络之BP神经网络模型
一、什么是BPBP(Back Propagation)网络是1986年由Rumelhart和McCelland为首的科学家小组提出,是一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系,而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用梯度下降法,通过反向传播来不断调整网络的权值和阈值,使网络的误差平方和最小。转载 2017-07-08 20:25:58 · 27958 阅读 · 2 评论 -
人工神经网络之前馈神经网络
1.基本概念 深度前馈神经网络也叫作多层感知机,是深度学习中最常用的模型。它包含输入层,隐含层和输出层三个部分。它的目的是为了实现输入到输出的映射。它定义了一个函数 y = f(x,theta),并且通过学习theta,得到了映射函数f。 深度前馈神经网络之所以称之为深度是因为它包含了很多层(隐含层可能会有很多层),而称之前馈则是因为它在输出和模型本身之间没有反馈,而有这种反馈的网络叫...转载 2017-07-08 20:14:25 · 15047 阅读 · 0 评论 -
人工神经网络之激活函数 -tanh函数
tanh函数tanh(x)=e2x−1e2x+1tanh′(x)=1−tanh(x)2证明∂tanh(x)∂x=(1−2e2x+1)′=2⋅2e2x(e2x+1)2=4e2x(e2x+1)2=(e2x+1)2−(e2x−1)2(e2x+1)2=1−(e2x−1e2x+1)2=1−tanh(x)2(10)(11)(12)(13)(14)(15)神经网络激活函数及导数原创 2017-07-05 22:19:13 · 6343 阅读 · 0 评论 -
人工神经网络之激活函数 -softmax函数
softmax 可以理解为归一化,如目前图片分类有一百种,那经过 softmax 层的输出就是一个一百维的向量。向量中的第一个值就是当前图片属于第一类的概率值,向量中的第二个值就是当前图片属于第二类的概率值...这一百维的向量之和为1.softmax的输入层和输出层的维度是一样的,如果不一眼,就在输入至 softmax 层之前通过一层全连接层。激活函数softmax和损失函数会一起使用。原创 2017-07-05 22:31:18 · 2147 阅读 · 0 评论 -
人工神经网络之激活函数 -RELU函数
一句话概括:不用simgoid和tanh作为激活函数,而用ReLU作为激活函数的原因是:加速收敛。因为sigmoid和tanh都是饱和(saturating)的。何为饱和?个人理解是把这两者的函数曲线和导数曲线plot出来就知道了:他们的导数都是倒过来的碗状,也就是,越接近目标,对应的导数越小。而ReLu的导数对于大于0的部分恒为1。于是ReLU确实可以在BP的时候能够将梯度很好地传到较前面的原创 2017-07-05 22:24:02 · 3295 阅读 · 0 评论 -
人工神经网络之激活函数 -Sigmoid函数
Sigmoid函数 Sigmoid 是使用范围最广的一类激活函数,具有指数函数形状 。正式定义为:代码:x=-10:0.001:10; %sigmoid和它的导数sigmoid=1./(1+exp(-x));sigmoidDer=exp(-x)./((1+exp(-x)).^2);figure;plot(x,sigmoid,‘r‘,x,sigmoidDer,‘b-原创 2017-07-05 22:17:21 · 11432 阅读 · 1 评论 -
人工神经网络之激活函数总结
激活函数:传统神经网络中最常用的两个激活函数,Sigmoid系(Logistic-Sigmoid、Tanh-Sigmoid)被视为神经网络的核心所在.从数学上来看,非线性的Sigmoid函数对中央区的信号增益较大,对两侧区的信号增益小,在信号的特征空间映射上,有很好的效果,通过对加权的输入进行非线性组合产生非线性决策边界.从神经科学上来看,中央区酷似神经元的兴奋态,两侧区酷似神经元的抑制态,因原创 2017-07-05 22:12:13 · 3528 阅读 · 0 评论 -
人工神经网络模型与分类
1. 人工神经网络的分类按性能分:连续型和离散型网络,或确定型和随机型网络。按拓扑结构分:前向网络和反馈网络。前向网络有自适应线性神经网络(AdaptiveLinear,简称Adaline)、单层感知器、多层感知器、BP等。前向网络,网络中各个神经元接受前一级的输入,并输出到下一级,网络中没有反馈,可以用一个有向无环路图表示。这种网络实现信号从输入空间原创 2017-07-05 21:57:59 · 29601 阅读 · 0 评论 -
CNN卷积神经网络深度解析
1. 概述卷积神经网络是一种特殊的深层的神经网络模型,它的特殊性体现在两个方面,一方面它的神经元间的连接是非全连接的,另一方面同一层中某些神经元之间的连接的权重是共享的(即相同的)。它的非全连接和权值共享的网络结构使之更类似于生物神经网络,降低了网络模型的复杂度(对于很难学习的深层结构来说,这是非常重要的),减少了权值的数量。卷积网络最初是受视觉神经机制的启发而设计的,是为识别二维形状而设原创 2017-07-10 21:18:05 · 2201 阅读 · 0 评论 -
DL论文第一周-Deep learning
[1] LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. "Deep learning." Nature 521.7553 (2015): 436-444. [pdf] 地址:http://www.cs.toronto.edu/~hinton/absps/NatureDeepReview.pdf深度学习是由多个处理层来学习表达数据的多个层次抽象。这些...原创 2018-03-23 23:04:36 · 631 阅读 · 0 评论