神经网络与深度学习 总结1

1.1 线性回归

定义： 利用数理统计中回归分析， 来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。

线性回归要素：

1. 训练集(training set)或者训练数据(training data)：是我们流程中的输入数据， 一般称为x；

2. 输出数据：一般称为y；

3. 拟合的函数（ 或者称为假设或者模型）：一般写做 y = ℎ(x)；如果是直线， 则为y=kx+b

4. 训练数据的条目数(#training set)：一条训练数据是由一对输入数据和输出数据组成的， 输入数据的维度n(特征的个数，#features).

学习过程:

进一步扩展原有问题

1.2线性分类

定义： 线性分类器则透过特征的线性组合来做出分类决定， 以达到此种目的。 简言之， 样本通过直线(或超平面)可分。

线性分类器

输入： 特征向量

输出： 二分类问题， 则为0和1， 或者是属于某类的概率， 即0-1之间的数

思路： 构造这条二分类的“分界直线”

考虑代入直线方程的值进一步， 因为我们最终需要概率， 结果在0-1之间， 因此需要使用Sigmoid函数对值做变换：

由于此时J为非线性函数，可使用梯度下降法进行迭代求解。

1.3指数回归

根据Bayes公式， 二分类问题可使用条件概率描述：

假设各样本服从Bernoulli分布。 合理估计值应当是极大似然的，取似然函数：

对于有k个标记的分类问题， 分类函数如下：

取代价函数：

对应梯度：

1.4神经元模型

作用函数

Hebb规则

1.5感知机模型

感知机原理

感知机(Perceptron)于1957年 由Rosenblatt提出，是神经网络和支持向量机的基础。

训练过程

线性可分参数迭代过程：

线性不可分参数迭代过程：

感知机与神经元模型类比