目录
函数的输出可以是一个连续的值(称为回归),或是输出是有限个离散值(称作分类)。
线性回归
如何确定k,b ?
为截距,x,y为给定的样本,这个模型其实就是线性回归的模型,用这个模型和样本确定θ1,θ2,θ0最佳的值,θ未知,x已知,公式:
第i个样本实际的值=预测值+误差值
注:应用前提是多个随机变量的和,有些问题 是乘性误差,则需要鉴别或者取对数后再使用
机器学习中的建模过程,往往充斥着假设, 合理的假设是合理模型的必要前提。
假设具有三个性质:内涵性,简化性,发散性。
所谓假设,就是根据常理应该是正确的。如假定一个人的身高位于区间[150cm,220cm], 这能够使得大多数情况都是对的,但很显然有 些篮球运动员已经不属于这个区间。所以,假 设的第一个性质:假设往往是正确的但不一定 总是正确。我们可以称之为“假设的内涵性”。
假设的简化性,假设只是接近真实,往往需要做若干简化。如,在自然语言处理中,往往使用词袋模型(Bag Of Words),认为一篇文档的词是独立的——这样的好处是计算该文档的似然概率非常简 洁,只需要每个词出现概率乘积即可。但我们知道这个假设是错的:一个文档前一个 词是“正态”,则下一个词极有可能是“分 布”,文档的词并非真的独立。这个现象可以称之为“假设的简化性”。
假设的发散性,在某个简化的假设下推导得到的结论,不一 定只有在假设成立时结论才成立。如,我们假定文本中的词是独立的,通过朴素 贝叶斯做分类(如垃圾邮件的判定)。我们发现:即使使用这样明显不正确的假设, 但它的分类效果往往在实践中是堪用的。这个现象可以称之为“假设的发散性”。
最小二乘意义下的参数最优解
加入λ扰动后
正则化与稀疏
机器学习与数据使用
Moore-Penrose广义逆矩阵(伪逆)
SVD计算矩阵的广义逆
梯度下降算法
批量梯度下降算法
折中:mini-batch
如果不是每拿到一个样本即更改梯度,而是 若干个样本的平均梯度作为更新方向,则是 mini-batch梯度下降算法。
线性回归的进一步分析