DeepLearning六脉神剑第1式--传统神经网络

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_36789311/article/details/83513823

**

DeepLearning六脉神剑第1式–传统神经网络

**

#本次笔记简述

阔别近一个月之久,小川最近也在机器学习的道路行进了一步,虽然速度不算太快,但是至少还是有所感悟,各位看官们有没有想念我呢。那么,进入本次笔记的正题,近期小川学习了传统神经网络和BP神经网络模型,对于神经网络有了个初步的接触,所谓神经网络指的就是一个解决问题的算法。

MP-模型

为了构建神经网络模型,我们需要首先思考大脑中的神经网络是怎样进行的?每一个神经元都可以被认为是一个处理神经元/神经核,它含有许多输入/树突,并且有一个输出/轴突,神经网络是大量神经元相互连接并通过电脉冲来交流的一个网络。
在这里插入图片描述
在生物神经网络中,每一个神经元与其他神经元相连,当它“兴奋”时,就会向相连的神经元发送化学物质,从而改变这些神经元内的电位;如果某神经元的电位超过了一个“阈值”,那么他就会激活,即“兴奋”起来,向其他神经元发送化学物质。
1.MP-模型
①下图所示是一个“MP-神经元模型”:
MP-神经元模型
该模型将神经元简化为了三个过程:输入信号线性加权,求和,非线性激活(阈值法)。输入可以类比为神经元的树突,而输出可以类比为神经元的轴突末梢,计算则可以类比为细胞核。

②如果将神经元图中的所有变量用符号表示,可以写出输出的计算公式:
在这里插入图片描述
可见Z是在输入和权值的线性加权叠加了一个函数g的值。这里,已知的属性称之为特征,未知的属性称之为目标。假设特征与目标间确实是线性关系,并且我们已经得到表示这个关系的权值w1,w2,w3。那么,我们就可以通过神经元模型预测新样本的目标。

2.神经元激活函数
理想中的激活函数是阶跃函数,它将输入值映射为输出值“0”或“1”,显然“1”对应于神经兴奋,“0”对应于神经抑制。然而,阶跃函数具有不连续、不光滑等不太好的性质,因此实际常用sigmoid函数作为激活函数。典型的sigmoid函数如下图所示,他能把在较大范围内变化的输入值挤压到(0,1)输出值范围内,因此有事也称为“挤压函数”。
在这里插入图片描述
3.感知机与多层神经网络
①感知机
感知机有两层神经元组成,输入吃呢个接受外界输入信号后传递给输出层,输出层是M-P神经元,亦称“阈值逻辑单元”。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
②多层神经网络
在这里插入图片描述
输出公式可以改写为:
g(W*a)=Z
这个公式就是神经网络从前一层计算后一层的矩阵计算。
在这里插入图片描述
两层神经网络除了包含一个输入吃呢个,一个输出层意外,还增加了一个中间层。此时,中间层和输出层都是计算层。在右边新加一个层次(只含有一个节点)。现在,我们的权值矩阵增加到了两个,我们用上标来区分不同层次之间的变量。

在这里插入图片描述
在这里插入图片描述
神经元按照层来布局,最左边的层叫做输入层,负责接收输入数据;最右边的层加输出层,可以从这层获取神经网络输出数据。输入层和输出层之间叫做隐藏层,因为他们对于外部来说是不可兼得。同一层的神经元之间没有连接,第N层的每个神经元和第N-1层的所有的所有神经元相连,第N-1层神经元的输出就是第N层神经元的输入,每一个连接都有一个权值。
在这里插入图片描述
3.误差

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
4梯度下降
在这里插入图片描述
首先,我们随便选择一个点开始,比如左图的点W0。每次迭代修改W为W1,W2,W3,经过数次迭代后最终到达函数最小值点。每次沿着梯度相反方向去修改的值,当然就能走到函数的最小值点附近。之所以是最小值附近而不是最小值那个点,是因为每次移动的步长都不会那么恰到好处,有可能最后一次迭代走远了越过了最小值那个点。步长的选择是个难点,如果选小了,那么就会迭代很多轮很多轮才能最小值附近;如果选择大了,那可能就会越过最小值很远,收敛不到一个好的点上。

展开阅读全文

华山论剑第1-SQL Server查询优化!

07-22

本期主题: SQL Server查询优化. rn查询优化是一个比较常见的主题, rn在实际的生产应用中,大数据量的查询会消耗服务器大量的资源, rn如何合理地优化查询,提高系统性能, rn是每个系统架构人员,系统开发热源,系统维护人员以及数据库管理人员共同关心的话题. rn本期就此做一下讨论. rn欢迎大家积极参与.:) rn先贴几篇作为抛砖引玉. rn[url=http://topic.csdn.net/u/20080416/08/24b62a73-ab5a-4927-97af-81e7e790445d.html]如何实现优化查询.[/url] rnhttp://topic.csdn.net/u/20080416/08/24b62a73-ab5a-4927-97af-81e7e790445d.html rn[url=http://topic.csdn.net/u/20080521/15/c5ee330e-596d-4957-8032-5bb9a80a9218.html ]索引的基本原理,以及数据是如何被访问的[/url]rnhttp://topic.csdn.net/u/20080521/15/c5ee330e-596d-4957-8032-5bb9a80a9218.html rn[url=http://topic.csdn.net/u/20080624/10/0ac05d43-b285-49f0-85b2-73e0d989d2ae.html ]100分,求sqlserver 中提高查询性能的方法!越全越好! [/url]rnhttp://topic.csdn.net/u/20080624/10/0ac05d43-b285-49f0-85b2-73e0d989d2ae.html rn[url=http://topic.csdn.net/u/20080707/09/3c64cc80-5f7a-4116-8942-81c6deae9c07.html]深度探索:Clustered Index Scan vs Table Scan [/url]rnhttp://topic.csdn.net/u/20080707/09/3c64cc80-5f7a-4116-8942-81c6deae9c07.html rn[url=http://dev.csdn.net/author/griefforyou/082b9b29299e4584b78bf6f7ccb57c0b.html]五种提高 SQL 性能的方法[/url]rnhttp://dev.csdn.net/author/griefforyou/082b9b29299e4584b78bf6f7ccb57c0b.html rn[url=http://bbs.chinaunix.net/viewthread.php?tid=83481]数据库的查询优化技术[/url] rnhttp://bbs.chinaunix.net/viewthread.php?tid=83481rnrnrn[url=http://msdn.microsoft.com/zh-cn/library/ms176005.aspx ]查询优化[/url] rnhttp://msdn.microsoft.com/zh-cn/library/ms176005.aspx rnrn[url=http://msdn.microsoft.com/zh-cn/library/ms191227.aspx ]分析查询[/url]rnhttp://msdn.microsoft.com/zh-cn/library/ms191227.aspx rnrn[url=http://msdn.microsoft.com/zh-cn/library/ms345417.aspx ]查找缺失索引[/url]rnhttp://msdn.microsoft.com/zh-cn/library/ms345417.aspx rnrn[url=http://msdn.microsoft.com/zh-cn/library/ms188722.aspx ]查询优化建议[/url]rnhttp://msdn.microsoft.com/zh-cn/library/ms188722.aspx rnrn[url=http://msdn.microsoft.com/zh-cn/library/ms191426.aspx ]高级查询优化概念[/url] rnhttp://msdn.microsoft.com/zh-cn/library/ms191426.aspx rn 论坛

没有更多推荐了,返回首页