机器学习数学基础笔记1

1. 机器学习就是把非凸函数转换成凸函数来求解最优解的过程
2. 如何判断一个函数是凸函数？
   如果这个函数的二阶导数大于0，那么这个函数就是凸函数；反之，则为凹函数（简便方法）
   （不一定二阶可导，）
   重要性质：琴生不等式
3. 机器学习中损失函数得到凹函数怎么办呢？取反即可
4. 基础概率公式
   
   
   两点分布：二分类问题
   泊松分布：类似于价格分布，比如卖盒饭，大部分的盒饭价格为20元，豪华版盒饭价格更高，但是数量较少，也有精简版盒饭，受众为穷苦学生或者秒杀时的情况
   
   正态分布：误差基本都是正态分布；人的身高：男生身高是一个正态分布，女生身高是一个正态分布，男女生身高叠加在一起可能就是一个双峰模型
   主要记住各种分布的图像
5. 统计
6. 
   用来选择特征或者评估label和特征之间的相关程度
   评价两个变量的关系
   如果两个变量的协方差是1，那么两个变量基本一样，可以删掉一个变量
   
   协方差和相关系数都可以用来描述线性关系，相关系数把值固定在了一个范围内，方便直观感受
7. 矩阵和向量相乘：列向量*权重的线性组合
8. SVD 奇异值分解
   降维