深度学习基础1(神经网络)

转载 2015年11月19日 09:17:36

神经网络

Contents

 

概述

以监督学习为例,假设我们有训练样本集 \textstyle (x(^ i),y(^ i)) ,那么神经网络算法能够提供一种复杂且非线性的假设模型 \textstyle h_{W,b}(x) ,它具有参数 \textstyle W, b ,可以以此参数来拟合我们的数据。

为了描述神经网络,我们先从最简单的神经网络讲起,这个神经网络仅由一个“神经元”构成,以下即是这个“神经元”的图示:

                       SingleNeuron.png


这个“神经元”是一个以 \textstyle x_1, x_2, x_3 及截距 \textstyle +1 为输入值的运算单元,其输出为 \textstyle  h_{W,b}(x) = f(W^Tx) = f(\sum_{i=1}^3 W_{i}x_i +b) ,其中函数 \textstyle f : \Re \mapsto \Re 被称为“激活函数”。在本教程中,我们选用sigmoid函数作为激活函数 \textstyle f(\cdot)

f(z) = \frac{1}{1+\exp(-z)}.

可以看出,这个单一“神经元”的输入-输出映射关系其实就是一个逻辑回归(logistic regression)。


虽然本系列教程采用sigmoid函数,但你也可以选择双曲正切函数(tanh):


f(z) = \tanh(z) = \frac{e^z - e^{-z}}{e^z + e^{-z}},

以下分别是sigmoid及tanh的函数图像

Sigmoid activation function. Tanh activation function.

\textstyle \tanh(z) 函数是sigmoid函数的一种变体,它的取值范围为 \textstyle [-1,1] ,而不是sigmoid函数的 \textstyle [0,1] 。


注意,与其它地方(包括OpenClassroom公开课以及斯坦福大学CS229课程)不同的是,这里我们不再令 \textstyle x_0=1 。取而代之,我们用单独的参数 \textstyle b 来表示截距。


最后要说明的是,有一个等式我们以后会经常用到:如果选择 \textstyle f(z) = 1/(1+\exp(-z)) ,也就是sigmoid函数,那么它的导数就是 \textstyle f'(z) = f(z) (1-f(z)) (如果选择tanh函数,那它的导数就是 \textstyle f'(z) = 1- (f(z))^2 ,你可以根据sigmoid(或tanh)函数的定义自行推导这个等式。


神经网络模型

所谓神经网络就是将许多个单一“神经元”联结在一起,这样,一个“神经元”的输出就可以是另一个“神经元”的输入。例如,下图就是一个简单的神经网络:

                     Network331.png

我们使用圆圈来表示神经网络的输入,标上“\textstyle +1”的圆圈被称为偏置节点,也就是截距项。神经网络最左边的一层叫做输入层,最右的一层叫做输出层(本例中,输出层只有一个节点)。中间所有节点组成的一层叫做隐藏层,因为我们不能在训练样本集中观测到它们的值。同时可以看到,以上神经网络的例子中有3个输入单元(偏置单元不计在内),3个隐藏单元及一个输出单元


我们用 \textstyle {n}_l 来表示网络的层数,本例中 \textstyle n_l=3 ,我们将第 \textstyle l 层记为 \textstyle L_l ,于是 \textstyle L_1 是输入层,输出层是 \textstyle L_{n_l} 。本例神经网络有参数 \textstyle (W,b) = (W^{(1)}, b^{(1)}, W^{(2)}, b^{(2)}) ,其中 \textstyle W^{(l)}_{ij} (下面的式子中用到)是第 \textstyle l 层第 \textstyle j 单元与第 \textstyle l+1 层第 \textstyle i 单元之间的联接参数(其实就是连接线上的权重,注意标号顺序), \textstyle b^{(l)}_i 是第 \textstyle l+1 层第 \textstyle i 单元的偏置项。因此在本例中, \textstyle W^{(1)} \in \Re^{3\times 3} , \textstyle W^{(2)} \in \Re^{1\times 3} 。注意,没有其他单元连向偏置单元(即偏置单元没有输入),因为它们总是输出 \textstyle +1。同时,我们用 \textstyle s_l 表示第 \textstyle l 层的节点数(偏置单元不计在内)。


我们用 \textstyle a^{(l)}_i 表示第 \textstyle l 层第 \textstyle i 单元的激活值(输出值)。当 \textstyle l=1 时, \textstyle a^{(1)}_i = x_i ,也就是第 \textstyle i 个输入值(输入值的第 \textstyle i 个特征)。对于给定参数集合 \textstyle W,b ,我们的神经网络就可以按照函数 \textstyle h_{W,b}(x) 来计算输出结果。本例神经网络的计算步骤如下:


 \begin{align}a_1^{(2)} &= f(W_{11}^{(1)}x_1 + W_{12}^{(1)} x_2 + W_{13}^{(1)} x_3 + b_1^{(1)})  \\a_2^{(2)} &= f(W_{21}^{(1)}x_1 + W_{22}^{(1)} x_2 + W_{23}^{(1)} x_3 + b_2^{(1)})  \\a_3^{(2)} &= f(W_{31}^{(1)}x_1 + W_{32}^{(1)} x_2 + W_{33}^{(1)} x_3 + b_3^{(1)})  \\h_{W,b}(x) &= a_1^{(3)} =  f(W_{11}^{(2)}a_1^{(2)} + W_{12}^{(2)} a_2^{(2)} + W_{13}^{(2)} a_3^{(2)} + b_1^{(2)}) \end{align}


我们用 \textstyle z^{(l)}_i 表示第 \textstyle l 层第 \textstyle i 单元输入加权和(包括偏置单元),比如, \textstyle  z_i^{(2)} = \sum_{j=1}^n W^{(1)}_{ij} x_j + b^{(1)}_i ,则 \textstyle a^{(l)}_i = f(z^{(l)}_i) 。


这样我们就可以得到一种更简洁的表示法。这里我们将激活函数 \textstyle f(\cdot) 扩展为用向量(分量的形式)来表示,即 \textstyle f([z_1, z_2, z_3]) = [f(z_1), f(z_2), f(z_3)] ,那么,上面的等式可以更简洁地表示为:


\begin{align}z^{(2)} &= W^{(1)} x + b^{(1)} \\a^{(2)} &= f(z^{(2)}) \\z^{(3)} &= W^{(2)} a^{(2)} + b^{(2)} \\h_{W,b}(x) &= a^{(3)} = f(z^{(3)})\end{align}


我们将上面的计算步骤叫作前向传播。回想一下,之前我们用 \textstyle a^{(1)} = x 表示输入层的激活值,那么给定第 \textstyle l 层的激活值 \textstyle a^{(l)} 后,第 \textstyle l+1 层的激活值 \textstyle a^{(l+1)} 就可以按照下面步骤计算得到:


 \begin{align}z^{(l+1)} &= W^{(l)} a^{(l)} + b^{(l)}   \\a^{(l+1)} &= f(z^{(l+1)})\end{align}


将参数矩阵化,使用矩阵-向量运算方式,我们就可以利用线性代数的优势对神经网络进行快速求解。


目前为止,我们讨论了一种神经网络,我们也可以构建另一种结构的神经网络(这里结构指的是神经元之间的联接模式),也就是包含多个隐藏层的神经网络。最常见的一个例子是 \textstyle  n_l 层的神经网络,第 \textstyle  1 层是输入层,第 \textstyle  n_l 层是输出层,中间的每个层 \textstyle  l 与层 \textstyle  l+1 紧密相联。这种模式下,要计算神经网络的输出结果,我们可以按照之前描述的等式,按部就班,进行前向传播,逐一计算第 \textstyle  L_2 层的所有激活值,然后是第 \textstyle  L_3 层的激活值,以此类推,直到第 \textstyle  L_{n_l}层。这是一个前馈神经网络的例子,因为这种联接图没有闭环或回路。


神经网络也可以有多个输出单元。比如,下面的神经网络有两层隐藏层: \textstyle L_2 及 \textstyle L_3 ,输出层 \textstyle L_4 有两个输出单元

                    。Network3322.png


要求解这样的神经网络,需要样本集 \textstyle (x^{(i)}, y^{(i)}) ,其中 \textstyle y^{(i)} \in \Re^2 。如果你想预测的输出是多个的,那这种神经网络很适用。(比如,在医疗诊断应用中,患者的体征指标就可以作为向量的输入值,而不同的输出值 \textstyle y_i 可以表示不同的疾病存在与否。)


中英文对照

neural networks 神经网络

activation function 激活函数

hyperbolic tangent 双曲正切函数

bias units 偏置项

activation 激活值

forward propagation 前向传播

feedforward neural network 前馈神经网络


深度学习与神经网络

深度学习,神经网络,多层神经网络,BP,卷积神经网络区别接触神经网络不久,想弄明白“深度学习”与”多层神经网络”的区别,看了几篇博客和知乎回答,总结一下自己的认识 BP是指多层前馈神经网络神经...
  • qq_24672309
  • qq_24672309
  • 2017年08月05日 02:24
  • 463

浅说深度学习(1):核心概念

本文首发于集智专栏 https://jizhi.im/blog/post/dl_nutshell_01 此为系列首篇,旨在提供直观简明的深度学习引导,涵盖深度学习的基本概念,而不设计很多数学...
  • lcy7289786
  • lcy7289786
  • 2017年04月21日 21:53
  • 467

深度学习在信息隐藏中的应用(上)

之前都是在实验室做项目,写代码,没有系统集中的看过paper,最近要准备开题,集中看了十几篇,全是深度学习在信息隐藏领域的应用与研究。这里主要是对十几篇论文做一个总结,以后会不间断更新最新读的论文。大...
  • MajorDong100
  • MajorDong100
  • 2017年11月07日 17:24
  • 816

《神经网络和深度学习》之神经网络基础(第二周)课后作业——一个隐藏层的平面数据分类

欢迎来到第三周的课程,在这一周的任务里,你将建立一个只有一个隐含层的神经网络。相比于之前你实现的逻辑回归有很大的不同。你将会学习一下内容: 用一个隐含层的神经网络实现一个二分类。 利用非线性的激活函数...
  • qq_16540387
  • qq_16540387
  • 2018年02月13日 00:08
  • 29

深度学习基础——神经网络起步

深度学习基础——神经网络起步 原文地址Fundamentals of Deep Learning – Starting with Artificial Neural Network 前言 深度学习...
  • qq_17004327
  • qq_17004327
  • 2017年08月16日 13:49
  • 554

神经网络与深度学习学习笔记:numpy基础

import numpy# def sigmoid(x): # return 1/(1+numpy.exp(-x)) # print(sigmoid(3)) # print(sigmoid(n...
  • qq_31823267
  • qq_31823267
  • 2017年09月16日 22:34
  • 324

深度学习在信息隐藏中的应用(下)

上一篇主要是使用卷积神经网络来做隐写分析,这一篇主要介绍几篇使用生成对抗网络来做隐写和加密。在介绍这些工作之前,我们先来看一下什么是生成对抗网络。生成对抗网络(Generative Adversari...
  • MajorDong100
  • MajorDong100
  • 2017年11月21日 23:04
  • 629

技术文章 | 深度学习的这些坑你都遇到过吗?神经网络11大常见陷阱及应对方法

如果你的神经网络不工作,该怎么办?本文作者列举了搭建神经网络时可能遇到的11个常见问题,包括预处理数据、正则化、学习率、激活函数、网络权重设置等,并提供解决方法和原因解释,是深度学习实践的有用资料。...
  • CS13522431352
  • CS13522431352
  • 2017年09月08日 13:03
  • 116

《神经网络与深度学习》讲义1—数学基础

本文摘自邱锡鹏老师的《神经网络与深度学习》讲义范数矩阵的pp范数为: ∥A∥=⎛⎝∑i=1m∑j=1n∣aij∣p⎞⎠1/p\lVert A \rVert = \left( \sum_{i=1}^m...
  • InfinityForever
  • InfinityForever
  • 2015年12月29日 20:29
  • 2046

【备忘】2017年最新整理python神经网络深度学习算法全套视频教程

2017年最新整理python神经网络深度学习算法全套视频教程 课程介绍: 此阶段主要介绍了Python语言为工具对每种算法进行结合实例讲解,并使用Python中相关的package来对实际问...
  • qq_38155396
  • qq_38155396
  • 2017年07月01日 08:22
  • 2066
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习基础1(神经网络)
举报原因:
原因补充:

(最多只允许输入30个字)