神经网络 - 概述

神经网络 - 概述

目录

前景

ReLu - 线性整流函数

$$y=max(0,f(x))$$
开始一段是0，后面则为一条直线
被很多时候用于激活函数，取代了之前的S 函数

特性

• 神经网络是由输入->神经元->输出基本逻辑组成
• (隐藏)神经元可以有一个或多个
• 只要输入数据足够(带噪声)，指定了网络结构，则神经网络会自主学习一个 x->y 的一个映射关系
• 相比于之前的机器学习方法，深度学习可以更好的处理非结构化数据
• 好的训练结果依赖于数据量和模型的规模
• 但学习方法大多还是使用（随机）梯度下降法

相比于传统机器学习

• 优秀的大数据处理性能

分类

神经网络

• 标准神经网络：常用于搜索优化、特征预测
• CNN(卷积神经网络):图像数据：物体识别
• RNN(循环神经网络):语音识别、文字翻译识别等
• 例如自动驾驶等，有时需要更复杂定制化的神经网络，可能是上面的一种或多种。

输入数据

在监督学习中数据分为以下两类

• 结构化数据：通常由数据库中提取，数据具有明确的字段和属性
• 非结构化数据：比如声音、图片、长段文字。需要分析才能理解其中内容

基本分析方式

分析图

分析图是描述一个神经网络结构的利器

上文的例子展现了一个简单的神经网络，最外层为输入层。中间有一个全连接层,经过处理最后到达输出层

• 注意：即使第二层神经元没有与输入层直接连接，但实际还是由输入层经过某种变换得来的。所以，上例中所有的神经元被所有 input 所连接。

tips

1. 小数据量时，学习性能更多依赖于手动选择特征的技巧
2. 在输入变量时，采用列向量-特征向量，行-traning 样本。
3. 输出矩阵 1xm