浅谈机器学习之批量梯度下降

机器学习

   机器学习是一门多领域交叉学科，涉及概率论、统计学、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。为了解决任务T,设计一段程序,从经验E中学习达到性能度量值P,当且仅当有了经验E后,经过P评判,程序在处理T时的性能得到提升

机器学习和人工学习

  通过实际的例子可能更好的理解,为了解决一个人感冒的问题,医生会根据以往的经验,评判病人 的病情状况,而机器学习,是输入病人的病情状况,学习大量的以往数据,选择合适的模型,再通过评判标准P得出病人的状况

机器学习分类

1.有监督的学习,包括:回归,分类
2.无监督的学习,包括:聚类,降纬
3.强化学习,包括:有模型学习,无模型学习
有监督学习和无监督学习的区别在与有没有标签

回归和分类

回归:样本的标签属于连续变量
分类:样本的标签属于离散变量

连续变量和离散变量

连续变量:可以从任意取值的变量叫连续变量
离散变量:如:性别,教育程度等.

机器学习三要素

模型

就是要学习的概率分布或决策函数

策略

适合解决某一种问题有很多种的模型,我们把这种模型称为:假设空间
我们从假设空间里选取一个最优的模型方法成为策略
怎么选取一个最优的方法呢?我们通过损失函数的方式来判断,当损失函数最小时候,这个方法就是最优的方法.记作L(Y,f(x)).通常的损失函数有如下几种方式:
1.0-1损失函数
也就是将数据进行0,1标准化,公式为:(x-x的均值)/x的标准差.
2.平方损失函数
3.绝对损失函数
4.对数损失函数

算法

算法是指学习模型时的具体计算方法,求解最优模型归结为一个最优化问题,统计学习方法的算法等价于求最优化问题的方法也就是求解析解,或者数值解

梯度下降方法

1.定义:
用函数求最小值的算法
2.思想
随机选择一个参数组合$(\Theta \genfrac{}{}{0ex}{}{}{0},\Theta \genfrac{}{}{0ex}{}{}{1},\Theta \genfrac{}{}{0ex}{}{}{2},\Theta \genfrac{}{}{0ex}{}{}{3},\cdots ,\Theta \genfrac{}{}{0ex}{}{}{n})$