斯坦福课程ML

1、线性回归、logistic回归和一般回归

线性回归函数（如果）

损失函数（loss function）或者错误函数（error function）

• 梯度下降法
  • 梯度下降法最大的问题是解有可能是局部极小值，这与初始点的选取有关
  • 步骤
    • 首先对赋值，这个值可以是随机的，也可以让是一个全零的向量
    • 改变的值，使得沿梯度下降的的方向减少
      • 由于求得的是极小值，因此取偏导数的反方向

• • • • 迭代更新的方式有两种
        • 批梯度下降
        • 增量梯度下降
  • 一般来说，梯度下降法收敛速度还是比较慢的
• 最小二乘法
  • 此方法要求是列满秩的，而且求矩阵的逆比较慢
• 带权重的线性回归

• • 这个公式与高斯分布类似，但不一样，因为不是随机变量

2、判别模型、生成模型和朴素贝叶斯方法

有时称判别模型求的是条件概率，生成模型求的是联合概率。

常见的判别模型有线性回归、逻辑回归、线性判别分析、支持向量机、boosting、条件随机场、神经网络等。

常见的生成模型有隐马尔科夫模型、朴素贝叶斯模型、高斯混合模型、LDA、Restricted Boltzmann Machine等。