线性回归与感知机

线性回归与感知机

线性回归

线性回归是利用数理统计中回归分析，确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。即利用一条曲线(直线)去尽量拟合数据，并使用拟合的曲线来预测任意变量对应的值。

线性回归要素

训练集：也称训练数据，即输入的数据，一般用$x$表示
输出数据：一般用$y$表示
模型：假设，即拟合的函数，一般用$y=h(x)$表示
训练集的条目数：一条训练数据由一对输入数据和输出数据组成，输入数据的维度$n$为特征的个数

线性回归问题求解

假设拟合函数和$n+1$个因素有关，令$\theta =[{\theta }_0,{\theta }_1,...,{\theta }_n]$，$x=[1,x_1,x_2,...,x_n]$，则有：$$y=h_{\theta }(x)={\theta }^{T}x$$
假设给定样本$(x^{(i)},y^{(i)})$，构造代价（误差、损失）函数，此损失函数为均方根形式：
$$J(\theta )=\frac{1}{2}\sum _i{\left(y^{(i)}-h_{\theta }\left(x^{(i)}\right)\right)}^2$$
目标：找到超平面参数$\theta$使$J(\theta )$最小，即求解${\min }_{\theta }J(\theta )$
$$\theta ={\left(X^{T}X\right)}^{-1}{X}^{T}y$$

线性二分类

线性分类器透过特征的线性组合分类，即通过直线（或超平面）分类

线性二分类问题求解

构造二分类的“分界直线”，一边为负，一边为正，距离分界线越远，其归为对应类的概率越大。
对于概率的求解使用sigmoid函数：
$$\begin{gathered} y=\frac{1}{1+\exp (-z)} \\ z={\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_0 \end{gathered}$$
sigmoid函数满足：
$$y^{\prime }=y(1-y)$$
假设给定样本$(x^{(i)},y^{(i)})$，其中$y^{(i)}$只能取0和1，构造代价（误差、损失）函数：
$$J(\theta )=\frac{1}{2}\sum _i{\left(y^{(i)}-h_{\theta }\left(x^{(i)}\right)\right)}^2$$
其中：
$$h_{\theta }\left(x^{(i)}\right)=\frac{1}{1+\exp (-{\theta }^T{x}^{(i)})}$$

目标：找到超平面参数$\theta$使$J(\theta )$最小，即求解${\min }_{\theta }J(\theta )$

此类回归问题称为softmax回归

对于这种非线性问题求解采用梯度下降法：
$$\begin{gathered} J({\theta }_{k+1})=J({\theta }_k)+{\left[\frac{dJ}{d\theta }\right]}^T\Delta {\theta }_k \\ \Delta {\theta }_k=-\alpha \frac{dJ}{d\theta } \end{gathered}$$

对数回归

对于二分类问题从概率角度描述：
$$\begin{gathered} P(y^{(i)}=1|x^{(i)})=h_{\theta }(x^{(i)}) \\ P(y^{(i)}=0|x^{(i)})=1-P(y=1|x^{(i)})=1-h_{\theta }(x^{(i)}) \end{gathered}$$
修改损失函数为：
$$J(\theta )=-\sum _i(y^{(i)})\log (h_{\theta }(x^{(i)}))+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)}))$$
对其最小化，有：
$${\Delta }_{\theta }J(\theta )=\sum _i{x}^{(i)}(h_{\theta }(x^{(i)})-y^{(i)})$$

神经元模型与作用函数

神经元模型

• 生物神经元模型
• 人工神经元模型
• 单神经元模型
  
  设$z={\sum }_j{w}_j{x}_j-\theta =w^{T}x$，则有：$y=f(z)$，并且$f(z)=1,z\ge 0;0,x<0$

作用函数

非对称型log sigmoid函数，用于分类问题求解：
$$f(x)=\frac{1}{1+\exp (-\beta x)}$$
对称型tangent sigmoid函数，用于拟合问题求解：
$$f(x)=\frac{1-\exp (-\beta x)}{1+\exp (-\beta x)}$$
对称型阶跃函数，具有阶跃作用，称为阈值逻辑单元：
$$f(x)=1,x\ge 0;-1,x<0$$

感知机模型

感知机（perceptron）是Rosenblatt于1957年提出的模型，是神经网络和支持向量机的基础
点到超平面的距离：
$$d=\frac{w^{T}x}{||w||}$$
感知机从输入到输出的模型如下：
$$\begin{gathered} y=f(x)=sign(w^{T}x) \\ sign(x)=-1,x<0;1,x\ge 0 \end{gathered}$$
对于样本$(x^{(i)},y^{(i)})$，如果样本正确分类，则有：
$$\begin{gathered} \frac{y^{(i)}(w^T{x}^{(i)})}{||w||}>0,正确分类 \\ \frac{y^{(i)}(w^T{x}^{(i)})}{||w||}<0,错误分类 \end{gathered}$$
损失函数定义如下：
$$L(w)=-\frac{1}{||w||}\sum y^{(i)}(w^T{x}^{(i)})$$
找到超平面参数$w^{\ast }$满足：
$$L(w^{\ast })=\underset{w}{\min }\sum y^{(i)}(w^T{x}^{(i)})$$