机器学习新视角3-拟合回归之道

回归==拟合

什么是回归

回归就是 “近似”,就是拟合 包含数学中的"约等于"
例如可以把原坐标系中的特征点的分布 ,近似成某种规则, 或者说是近似成某种线性函数分布.

例子:

• 二维平面坐标系中的点集 拟合一条过直线或曲线 也就是数学上是线性回归的应用
• 三维坐标系中的点集 拟合一条凹凸平面 数学上是线性回归的应用
• 一组数 拟合成频谱 在转直方图 分析 数学上是逻辑回归
• 一组数 拟合成0或1 数学上是也就是二值化回归 也就是常见的sigmoid ,tanh 激活函数
• 一组数 拟合成一组值[0,1,2,3,4,5,6,…] , 数学上是也就是 逻辑回归

对于上述例子
1. 二维平面坐标系中的点集 找到一条最佳的拟合直线
这里的区域就是 那条直线, 新的表现就是点到直线的距离,这样的直线很多,但是要一条 所有点距离之和最小的直线,那就只有一条了
2. 把一组数A 中的每一项 ,拟合成另一组数B 中的某项 例如 :[0.2,0.245,0.2345,0.987,0.733,…] 回归成[0,1,2,3,4,…]
这里的区域就是B数组,新的表现就是[0,1,2,3,4,…] 原来的表现是[0.2,0.245,0.2345,0.987,0.733,…]

常见回归举例

• 一元线性回归
  只有一个因数, 只能拟合一条最佳直线
• 多元线性回归
  有多个输入元, 可以拟合多条直线的交点集合
  类似于矩阵叉乘向量
• 逻辑回归
  近似 sigmoid 函数 把结果 进行二分类 取结果在两类别中每种的概率
  近似 softmax 函数 可以进行多分类 ,计算每种结果的概率