2.25机器学习数学基础笔记

机器学习与数学基础知识

一
数学基础（必须要把基础补起来才能够做下去）——微积分线性代数 入门（带个头）
机器学习典型方法
编程基础

二
动手实践教程代码

三
数据科学竞赛（这样比较靠谱）

四
实际项目经验

内容

机器学习分类一般思路，微积分基础：泰勒公式、导数梯度
概率与统计基础：概率公式、常见分布、常见统计量
线性代数基础：矩阵乘法的几何意义

机器学习定义

模式识别=数据挖掘
计算机视觉 语音识别 自然语言处理
应用广泛的领域

统计学习=有些专家认为这是一种视角

工程上各种学科交叉的

岗位的名字就会比较特定了：统计学习偏学术
机器学习的领域三大知识领域：计算机知识，数学统计知识，领域知识
如果三块：编程、领域知识、数学 都能够吃透的话，就叫做数据科学家的身份，要求还是比较高的

数学和编程如果好，就是机器学习
专门做研究的是数学特别好，领域的知识有一些，比如说各大研究院对数学的知识要求就会更高一些。编程不会多么高

统计：包括了常见算法，黑盒算法属于danger zone，很可能有问题，如果统计不了解，结果不知道怎么出来还是可能会出问题，只有知道了统计基础之后，才能更好地改代码，不然都不知道这些东西有问题

（从理论上来走各种算法，多元统计分析）

机器学习算法

无监督学习
虽然分为聚类和关联规则，但是有时候在实务当中将人工理解的规则抽象出来要好一些

监督学习
分类预测，回归分析
分类判断是好是坏（离散目标）
回归分析（连续的）

监督和无监督的区别
如果知道目标，比如知道性别判断抽烟，再去预测其他未知的，这个任务叫做监督学习算法，提前知道标签和目标。

监督学习算法经常用来做预测

深度学习可以做分类也可以做回归
数据挖掘不能仅仅使用算法，要知道他们的数学基础，否则容易出问题。Danger Zone
（数学基础相当重要！！！！！）

无监督学习
是基于前面的数据生成，这些数据不知道风格。无监督学习算法：预测
分类的任务实际上是想找到分类界

这种算法似乎更难一些，半监督学习是目标不知道

第一个问题就是是否监督学习？

强化学习用的算法就有些复杂，只有两个都掌握得比较好才向强化学习用的算法。
AlphaGo是强化学习
深度学习是一大类，是机器学习的一种，卷积神经网络

数据有标签，监督学习》分类》无监督

重点

机器学习思路
得分函数，输入特征，得到标签

特征的重要性不是一样的，有的家庭看得特征不一样。最后运算得到一个概率值
算法最核心的目标就是得到权重，逻辑回归的函数
绝大数目标就是得到权重值

损失函数
假定已经得到得分函数，有误差，把误差算出来，得分函数的函数，找到得分函数，使得最终损失函数是最小的，权重θ就是希望得到的机器学习的结果，《最优化》的问题
41：50

非凸函数找最小值，局部最低点。

来看一些算法

上面是连续标签
下面是离散标签
Scikitlearn 图怎么用scikitlearn去做你的数据分析问题

相关的学习资料

吴恩达视频挺好

机器学习基石（吃掉这块硬石头！！）

#高数回顾
夹逼定理
二阶导数表示斜率变化的快慢
泰勒公式
方向导数：标量
梯度：向量
梯度的方向是函数在该点变化最快的方向
梯度下降法 （在求解损失函数最优化问题当中可能就会用到，前提是函数是凸函数）

56：10
函数二阶可导，求出来的二阶导数大于零，那么曲线就是凹函数，有全局最小值
凸函数