度学习之开启神经网络之旅

深度学习之开启神经网络之旅

目录

神经元

神经元是神经网络中的一个重要概念。

可以把这个神经元看作感知器模型：

这是一个特殊的有向图，θ称为权重，x0称为偏置项，函数f是激活函数。在感知器模型中，激活函数是sign；在逻辑回归中，激活函数是sigmoid。

神经网络的基本组成

单个神经元模型和感知器模型没什么区别．多个神经元组合变成了神经网络．

上图是一个三层神经网络，分为输入层、隐藏层和输出层。

神经网络可以有多个隐藏层，每一层都会计算出更复杂的特征，但只有一个输入层和一个输出层.

层:深度学习的基础组件

层是一个数据处理模块,将一个或多个输入张量转换为一个或多个输出张量。

模型:层构成的网络

深度学习模型是层构成的有向无环图。最常见的例子就是层的线性堆叠,将单一输入映射为单一输出。

一些常见的网络拓扑结构如下：

1. 双分支(two-branch)网络
2. 多头(multihead)网络
3. Inception 模块

选择正确的网络架构更像是一门艺术而不是科学。

损失函数与优化器:配置学习过程的关键

一旦确定了网络架构,还需要选择以下两个参数： １．损失函数(目标函数)——在训练过程中需要将其最小化。它能够衡量当前任务是否已成功完成。 ２．优化器——决定如何基于损失函数对网络进行更新。它执行的是随机梯度下降(SGD)的某个变体

损失函数(激活函数)

激活函数的作用是给神经网络加入一些非线性因素，使得神经网络更好地解决较为复杂的问题。

常见的激活函数是sigmoid函数.

传统神经网络中最常用的两个激活函数,Sigmoid系（Logistic-Sigmoid、Tanh-Sigmoid）被视为神经网络的核心所在.

Relu函数为现在深度学习使用比较广泛的激活函数,相比前面两个,其优点在于计算简单,导数简单,收敛快,单侧抑制 ,相对宽阔的兴奋边界 ,稀疏激活性；缺点在于在训练的时候,网络很脆弱,很容易出现很多神经元值为0,从而再也训练不动.