前言():
{
之前对神经网络有初步的了解(在学图论的时候),一直想跟着一本书系统的了解一下,现在看到了这本书,就决定仔细研读一下。
第0章虽然涉及了不少东西,但因为是第0章,我就把我认为的重点记下来,缩成了一篇,以后遇到再细分吧。
}
正文():
{
首先介绍了什么是神经网络,并且引入了一些术语。
神经网络(初步了解):
{
就像书中说的那样,神经网络是一个有向图,并且有一下性质:
1,每个边都有一个权值(一般在公式中以w表示),经过某条边的刺激(电压,或数据)都要被乘以这条边的权值。
2,结点通用一个激活函数(我现在看到的单个神经网络中所有结点都只用一个激活函数)和一个偏置(一般在公式中以b表示),函数的输入为结点的所有输入和其偏置的总合,函数的输入为结点的每个输出。
举个例子:
其中e1的权值w1为0.4,e2的权值w2为0.5,N的偏置b为-0.3(神经网络里的各种值都是在-1到1之间,所以要把输入也缩小到这之间),并且激活函数如下:
上图是一种阈值函数,叫Heaviside函数;目前还学到了另一种阈值函数,sigmoid函数:
还有一种有意思的模型,函数的输出值为结点输出1的概率,其数学期望是一样的(有没有数学期望是一样的其他非二项分布的概率模型呢?{问题1})。
卷积神经网络(初步猜测):
{
先说卷积。我先看了百度百科,上面有一句话“概率论中,两个统计独立变量X与Y的和的概率密度函数是X与Y的概率密度函数的卷积”。通过这句话我就对卷积有了初步的了解。
首先打个比方,我现在手上有2个骰子,我想算一算扔出骰子总点数的为6的概率,那么最直接的方法就是算一下每种可能,设骰子A为x的概率为Pa(x),骰子B的概率为Pb(x)(如果是均匀的骰子,那这就是常数1/6),如下(箭头表示从小到大的顺序):
这种Pa(n)*Pb(6-n)的形式乘积先称之为“卷”。
“积”先理解成积分,对于离散的情况就是全部加到一起:
这也就是骰子总点数的为6的概率。
以此类推,骰子总点数的为x的概率P(x)为:
那么,可以这样说:“概率论中,两个统计独立变量X与Y的和的概率质量函数是X与Y的概率质量函数的卷积”
卷积先到此为止,之后我可能会开一个新文专门记录卷积。
关于卷积网络,书中有一句总结:
上面说的其实很好理解,就是两层之间不完全连接,并且存在共享的权值。那么,如果只满足其中部分条件是不是卷积网络呢?{问题2}
还有个问题,卷积网络里怎么理解卷积二字呢?或者说哪里有“从小到大”乘以“从大到小”再加到一起的结构?{问题3}
}
}
信号流图(简单描述):
一种信号流的表达方式,比较容易理解。
误差曲面(简单描述):
是一个函数,书上只提到是关于自由参数的,即E=f(w1, w2, … b1, b2, …),应该是像一个字典一样的东西。
学习(两种学习模式):
{
一般说让神经网络学习就是改变其中的权值和偏置,所以这两个又叫自由参数,而且偏置也可以当作一个权值,即它的输入端连接着一个虚拟的1输出。
即学习就是根据输出的误差来修改自由参数。
有教师学习(简单描述):
就是由另一部分(比如说人)根据其对外界的改造来判定输出的误差。这也是我目前见到最多的一种,我之前还参加过腾讯翻译君的训练,和谷歌翻译的让你选择差不多,我想应该就起教师作用吧。
无教师学习(分两种):
{
强化学习():
目前还是没明白,里面所谓的评价系统不就是教师吗?
无监督学习():
我叫它唯心主义学习法。这种学习主要在乎其对外界的理解,而不是外界本身的意义。用那谁的话说,反正都是抽象的数。
}
}
}
结语():
{
先到这里吧,其实还有很多不明白的,不过因为是第0章,就先不全都在这写了。之后的章节就会细究。
}