机器学习的基本常识

机器学习（Machine Learning)

一、机器学习的概念

为了解决任务T，设置一段程序，从经验E中学习，达到性能度量值P，当且仅当有了经验E后，经过P评判，程序在处理T时性能得到提升。
自我理解：现在有新的问题需要解决，我们从历史数据中训练得到模型，经过不断的筛选，找到最适模型去预测并解决问题。

二、机器学习分类

1.有监督学习（带标签）

1. 分类：样本标签属于离散变量
   1.1.生成式模型（概率模型）

     联合概率分布 
     假设有随机变量X,Y此时P(X=a and Y=b),用于表示X=a且Y=b的概率。
   

   1.2.判别式模型（非概率模型）— 条件概率分布

   条件概率(贝叶斯公式）
   事件A在事件B发生的条件下发生的概率
   条件概率:
   $P(A|B)=\frac{P(AB)}{P(B)}$
   $P(B|A)=\frac{P(AB)}{P(A)}$

   贝叶斯公式：
   $P(B|A)=\frac{P(A|B)P(B)}{P(A)}$

• 回归 ：样本标签属于连续变量

2.无监督学习（不带标签）

• 聚类：用户分群，朋友分组，细分市场等
• 降维：纬度（线索）越多，越能帮助我们判断，但是线索太多干扰判断，造成
  判断速度和精准度降低

3.强化学习

• 有模型学习
• 无模型学习

三、机器学习的流程

1.特征表示
2.选择模型
3.训练模型
4.模型评估

四、机器学习方法的三要素

1.模型
就是要学习概率分布或决策函数所有可能的条件概率分布或者决策函数构成的集合
就是模型的假设空间
2.策略
从假设空间中学习最优模型的方法，成为策略。
衡量模型的好与不好需要一些指标,这时引入损失函数和风险函数来衡量。
预测值和真实值通常是不相等的，我们用损失函数或者代价函数来度量错误的程度，记作L(Y,f(x))

损失函数一般有：
1.0-1损失函数
2.平方损失函数
3.绝对损失函数
4.对数损失函数

3.算法