感知器和激活函数

欢迎使用Markdown编辑器写博客

本Markdown编辑器使用[StackEdit][6]修改而来，用它写博客，将会带来全新的体验哦：

• Markdown和扩展Markdown简洁的语法
• 代码块高亮- 图片链接和图片上传
• LaTex数学公式
• UML序列图和流程图
• 离线写博客
• 导入导出Markdown文件
• 丰富的快捷键

---

快捷键

• 加粗 Ctrl + B
• 斜体 Ctrl + I
• 引用 Ctrl + Q
• 插入链接 Ctrl + L
• 插入代码 Ctrl + K
• 插入图片 Ctrl + G
• 提升标题 Ctrl + H
• 有序列表 Ctrl + O
• 无序列表 Ctrl + U
• 横线 Ctrl + R
• 撤销 Ctrl + Z
• 重做 Ctrl + Y

Markdown及扩展

Markdown 是一种轻量级标记语言，它允许人们使用易读易写的纯文本格式编写文档，然后转换成格式丰富的HTML页面。 —— [ 维基百科 ]

使用简单的符号标识不同的标题，将某些文字标记为粗体或者斜体，创建一个链接等，详细语法参考帮助？。

本编辑器支持 Markdown Extra , 　扩展了很多好用的功能。具体请参考Github.

表格

Markdown　Extra　表格语法：

项目	价格
Computer	$1600
Phone	$12
Pipe	$1

可以使用冒号来定义对齐方式：

项目	价格	数量
Computer	1600 元	5
Phone	12 元	12
Pipe	1 元	234

定义列表

Markdown　Extra　定义列表语法： 项目１ 项目２

定义 A

定义 B

项目３

定义 C

定义 D

定义D内容

代码块

代码块语法遵循标准markdown代码，例如：

@requires_authorization
def somefunc(param1='', param2=0):
    '''A docstring'''
    if param1 > param2: # interesting
        print 'Greater'
    return (param2 - param1 + 1) or None
class SomeClass:
    pass
>>> message = '''interpreter
... prompt'''

脚注

生成一个脚注1.

目录

用 [TOC]来生成目录：

数学公式

使用MathJax渲染LaTex 数学公式，详见math.stackexchange.com.

• 行内公式，数学公式为：$\Gamma(n) = (n-1)!\quad\forall n\in\mathbb N$。
• 块级公式：

$$x = \dfrac{-b \pm \sqrt{b^2 - 4ac}}{2a}$$

更多LaTex语法请参考 这儿.

UML 图:

可以渲染序列图：

或者流程图：

• 关于 序列图 语法，参考 这儿,
• 关于 流程图 语法，参考 这儿.

离线写博客

即使用户在没有网络的情况下，也可以通过本编辑器离线写博客（直接在曾经使用过的浏览器中输入write.blog.csdn.net/mdeditor即可。Markdown编辑器使用浏览器离线存储将内容保存在本地。

用户写博客的过程中，内容实时保存在浏览器缓存中，在用户关闭浏览器或者其它异常情况下，内容不会丢失。用户再次打开浏览器时，会显示上次用户正在编辑的没有发表的内容。

博客发表后，本地缓存将被删除。　

用户可以选择 把正在写的博客保存到服务器草稿箱，即使换浏览器或者清除缓存，内容也不会丢失。

注意：虽然浏览器存储大部分时候都比较可靠，但为了您的数据安全，在联网后，请务必及时发表或者保存到服务器草稿箱。

浏览器兼容

1. 目前，本编辑器对Chrome浏览器支持最为完整。建议大家使用较新版本的Chrome。
2. IE９以下不支持
3. IE９，１０，１１存在以下问题
   
   1. 不支持离线功能
   2. IE9不支持文件导入导出
   3. IE10不支持拖拽文件导入

---

[]: https://github.com/benweet/stackedit
对于神经网络，全称应该是人工神经网络，是对生物神经网络的模拟。大概的，对生物神经网络的模拟主要分为3个部分，即结构，神经元和突触。首先，我们从神经元聊起。

1神经元

1.1 感知器

要理解一个事物，我感觉最好的办法就是理解他的发展过程。从他的发展历史来看，就能更加深入的理解他为什么是这个样子。

对神经元，我想从感知器聊起。感知器是早期神经网络中的神经元的模型，用来模拟神经元对事件的决策。感知器在上个世纪60年代由Frank Rosenblatt发明，虽然现在使用更为广泛的是S型神经元、ReLU等，但是了解感知器，能够对这门技术的发展有一个更好的理解。

感知器是这样一个简单的模型，如下图所示：

感知器接受若干个输入，产生一个输出，输出的计算方式如下：

， 这是一个向量的形式，表示对所有的输入给不同的权重，输入到感知器中；b是一个阈值（偏置），可以用来表示感知器输出0或者1的难易程度。

例如，我们要用感知器来决策周末要不要去爬山，输入有这么3项，分别为周末的天气晴朗（x1），女朋友想去(x2)，有基友相约开黑(x3)。输出1表示要去爬山。

如果我们觉得天气晴朗是最关键的因素，那么我们可以设置w1 = 5, w2=1, w3=-1， b= -1

如果我们觉得有基友约开黑这种事情千万不能错过的话，可以设置权重和偏置为 w1 = 1 w2=1, w3=-5， b= -1

总的来说，通过感知器，设置不同的权重和偏置，我们可以对不同的事情做出不同的决策。通过修改权重和偏置，我们可以找到最适合我们应用的感知器模型，用来解决现实的问题。

但是感知器有它的问题，因为训练神经网络的核心在于得到网络中合适的权重和偏置，通常我们需要不断的调整权重和偏置，使得训练样本的结果不断的接近正确的结果。这就需要一个对权重和偏置的微小调整对输出的影响也是微小的（是不是感觉有点懵，没关系，先跳过，后面介绍了梯度下降和反向传播算法你就豁然开朗了）。我们把输入Z=wx+b, 画出输入与输出的曲线，如图：

从图中可以看出，感知器的曲线是非连续的，在Z=0时有一个阶跃。当我们改变权重和偏置使得Z从正数变成负数或者从负数变成正数时，会对输出造成一个反转。这样会使得神经网络的训练变得非常困难。由此，S型神经元随之提出。

1.2 S型神经元

S型神经元其实与感知器非常的相似，模型也大致如下：

区别在于，S型神经元引入了一个激活函数，sigmoid function， 该函数的定义为：

对S型神经元，可以更为清晰的表示其输出为：

我们先看看S型神经元的曲线：

从图中可以看出，S型神经元是连续的，比感知器要平滑。

---

1. 这里是 脚注 的 内容. ↩