机器学习笔记

摘自：PDF版学习笔记 - JerryLead - 博客园

21.10.13       

        机器学习有两种，一种是监督学习，另一种是非监督学习。监督学习就是我告诉计算机你把班上同学分个类，分类标准是按照性别，男生和女生；非监督分类就是告诉计算机你自己去把班上同学分个类吧，我不告诉你分类标准。

        在监督学习中，预测的变量是连续的用回归方法，是离散的用分类方法。

学习过程：

线性回归：

        线性回归假设特征和结果满足线性关系。当每个特征变量先映射到一个函数，在进行线性计算，就可以表达特征和结果之间的非线性关系。

        现有估计函数：，向量表示为

x1,x2..为特征分量，θ为参数。

        使用损失函数（或称为错误函数）来评估上面估计函数的好坏，即是评估θ，称为J函数。

 ，minJ(θ)

        选择平方和作为损失函数有其概率论解释。不同的损失函数运用于不同的算法中。

        调整θ，使得J(θ)最小，有最小二乘法和梯度下降法。

梯度下降法：

        梯度下降算法原理讲解——机器学习_Arrow and Bullet-CSDN博客_梯度下降法

        梯度下降法最大的问题是求得有可能是全局极小值，这与初始点的选取有关。

        步骤：

        1）首先对 θ 赋值，这个值可以是随机的，也可以让 θ 是一个全零的向量。
        2）改变 θ 的值，使得 J(θ)按梯度下降的方向进行减少。

        θ的更新：，α是学习率。
        迭代更新的方式有两种，一种是批梯度下降，也就是对全部的训练数据求得误差后再对 θ
进行更新，另外一种是增量梯度下降，每扫描一步都要对 θ 进行更新。 前一种方法能够不断
收敛，后一种方法结果可能不断在收敛处徘徊。

最小二乘法：

        线性回归原理及实现（一）：最小二乘法_玉米味土豆片-CSDN博客_线性回归最小二乘法

        解方程组，直接求出θ的最优解。

        通过                        

        求出正规方程：