机器学习学习笔记（一）

机器学习中的必修数学

一、机器学习基础

机器学习的分类与一般思路

机器学习应用的领域：模式识别、数据挖掘、统计学习、计算机视觉、语音识别、自然语言处理。


计算机相关知识、数学统计知识与具体领域相关的知识结合关系的图示。

机器学习的分类

• 监督学习：购买房价的预测、用户点击率的预测
• 训练集核心思路：基于有特征有目标的数据进行学习训练出监督学习算法，能够基于只有特征没有目标的数据得到此数据的目标。
• 测试集的核心思路：基于只有特征没有目标的数据集，根据已知数据特征进行目标的预测。
• 无监督学习：邮件、新闻的聚类
• 训练集核心思路：基于只有特征没有目标的数据集进行无监督的学习和训练，根据已有标签进行聚类。
• 测试集的核心思路：基于只有特征没有标签的数据集，根据训练集训练的算法进行预测分类。
• 强化学习：例如动态系统以及机器人的控制

机器学习的一般思路（重点）

• 得分函数
• 输入：数据集的特征
• 输出：数据集的标签（目标）
• 输入乘以权重然后根据回归函数算出输出
• 损失函数的最优化问题（用于求权重）
• 可以理解为得分函数的函数，基于训练集的特征求得的目标值与实际训练集的目标值进行比较得到的就是损失，把所有的损失用函数表示出来就是损失函数。只有特征没有标签的数据集，根据训练集训练的算法进行预测分类。
• 找到一个得分函数，使他的损失函数是最小的，最小值对应的权重就是最优结果。
• 凸函数和非凸函数的概念
  

算法一览

推荐的相关资料

• 李航，统计学习方法，清华大学出版社，2012
• 周志华，机器学习，清华大学出版社，2016
• Machine Learning ,Andrew Ng ,coursera
• 机器学习基石/技术，林轩田，coursera

---

二、微积分基础

泰勒公式、导数与梯度

• 微积分之：两边夹定理/夹逼定理
• 导数
• 简单来说导数就是曲线的斜率，是曲线变化快慢的反应。
• 二阶导数就是斜率变化快慢的反应，表征曲线的凹凸性。
• 典型导数的求法.
• 泰勒公式
• 梯度
• 梯度是向量
• 导数是标量
• 梯度的方向是函数在该点变化最快的方向
• 梯度下降法
• 凸函数

---

三、概率与统计基础

概率公式、常见分布、常见统计量

• 条件概率
• 全概率公式
• 贝叶斯公式
• 常见的概率分布（实际工程中比较常见）
• 两点分布
• 二项分布
• 泊松分布
• 均匀分布
• 指数分布
• 正态分布

概率与统计的关注点

• 概率论问问题的方式
• 装箱问题 根据是否已知整体进行区分
  将12件正品和3个次品随机平均装3个箱子里，每个箱子恰好一个次品的概率？
• 数理统计问问题的方式
• 正态分布的矩阵估计 统计问题是概率问题的逆向工程
  正态分布的总体中采样n个样本，估计该总体的均值和方差。

概率与统计的关系

• 统计估计的是分布，机器学习训练出来的是模型，模型可能包括了很多分布。
• 训练与预测过程的一个核心评价指标就是模型的误差。
• 误差本身就可以是概率的形式，与概率紧密相关。
• 对误差的不同定义方式就演化成了不同损失函数的定义方式。
• 机器学习是概率与统计的进阶版本（不严谨）。

重要的统计量

• 都是描述全局的统计量
• 期望
• 方差
• 协方差（用的比较多，比较两个随机变量的关系）
• 都是描述全局的统计量

---

四、线性代数基础

矩阵乘法的几何意义

几何意义：列向量的线性组合乘的一个值。

SVD的几何意义

解决降维问题

• 例如将一个长度为60亿的向量降维为线性相关的6w 的向量

---

总结

大学学的都还给老师了哈哈哈，
还是准备抽时间看一看 张宇或者汤家凤的考研数学