机器学习数学基础--（一）

机器学习算法

1.有监督学习

1.1分类预测(离散值)
1.2回归分析(连续值)
数据集分为：训练集和测试集
训练集包含n个特征(feature)和标签(label)
测试集只有特征没有标签。
任务就是根据测试集预测标签。

2.无监督学习

2.1聚类
2.2关联规则
训练集只有特征没有标签。
测试集需要根据已有特征预测标签。

3.强化学习

3.1Q-learning
3.2时间差学习

微积分

1.得分函数

f(x,W)=Wx
W：权重

2.损失函数

常见的损失函数
一般来说，我们在进行机器学习任务时，使用的每一个算法都有一个目标函数，算法便是对这个目标函数进行优化，特别是在分类或者回归任务中，便是使用损失函数（Loss Function）作为其目标函数，又称为代价函数(Cost Function)。    损失函数是用来评价模型的预测值Ŷ =f(X)与真实值Y的不一致程度，它是一个非负实值函数。通常使用L(Y,f(x))来表示，损失函数越小，模型的性能就越好。    设总有N个样本的样本集为(X,Y)=(xi,yi)，yi,i∈[1,N]为样本i的真实值，yi^=f(xi),i∈[1,N]为样本i的预测值，f为分类或者回归函数。 那么总的损失函数为：

3.凸函数

凸函数,是数学函数的一类特征。凸函数就是一个定义在某个向量空间的凸子集C（区间）上的实值函数。
凸函数是一个定义在某个向量空间的凸子集C（区间）上的实值函数f，而且对于凸子集C中任意两个向量, f((x1+x2)/2)>=(f(x1)+f(x2))/2,则f(x)是定义在凸子集c中的凸函数（该定义与凸规划中凸函数的定义是一致的，下凸）。

概率与统计

1.概率公式

1.1条件概率
1.2.全概率公式
1.3.贝叶斯(Bayes)公式

2.常见的概率分布

常见的概率分布
2.1两点分布
2.2两项分布
2.3泊松分布
2.4均匀分布
2.5指数分布
2.6正太分布

3.概率与方差

3.1期望
离散型随机变量的一切可能的取值 与对应的概率 乘积之和称为该离散型随机变量的数学期望[2] (若该求和绝对收敛），记为 。它是简单算术平均的一种推广，类似加权平均。
离散型：

连续型：

3.2方差
离散型：

连续型：

3.3协方差
评估两个特征间的相关性。
协方差的意义

我们可以定义一个表示X, Y 相互关系的数字特征，也就是协方差
cov(X, Y) = E(X-EX)(Y-EY)。
当 cov(X, Y)>0时，表明 X与Y 正相关；
当 cov(X, Y)<0时，表明X与Y负相关；
当 cov(X, Y)=0时，表明X与Y不相关。
这就是协方差的意义。