![](https://img-blog.csdnimg.cn/20201207122230254.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
机器学习的数学基础
文章平均质量分 87
依托统计学、概论等底层经典学科知识为机器学习、深度学习的应用赋能。
学海无涯~
这个作者很懒,什么都没留下…
展开
-
04 决策树
决策树特征选择1、策略:选择信息增益/信息增益比最大的特征2、熵与信息增益(1)熵熵表示的是随机变量不确定性的度量P(X=xi)=pi,i=1,2,…,nP(X= x_i) = p_i,i = 1,2,\dots,nP(X=xi)=pi,i=1,2,…,n,为取有限个值的离散随机变量X的概率分布,随机变量X的熵:H(X)=−∑i=1npilogpiH(X) = - \sum_{i=1}^n p_i \log p_iH(X)=−i=1∑npilogpi熵越大,随机变量的不原创 2021-01-14 20:25:59 · 122 阅读 · 1 评论 -
02 K近邻方法
K近邻方法模型不具有显式的学习过程,表现为k近邻法的模型对特征空间进行划分形成一个又一个的单元,单元中的实例的类标记是确定的。1、距离的度量闵氏距离Lp(xi,xj)=(∑l=1n∣xi(l)−xj(l)∣P)1P L_p(x_i,x_j) = (\sum_{l=1}^n |x_i^{(l)} - x_j^{(l)}|^{P})^{\frac{1}{P}} Lp(xi,xj)=(l=1∑n∣xi(l)−xj(l)∣P)P1p =1 ,曼哈顿距离:L1(xi,xj)=原创 2021-01-14 20:04:59 · 111 阅读 · 0 评论 -
01 感知机方法
感知机方法模型f(x)=sign(w⋅x+b)f(x) = sign(w·x +b)f(x)=sign(w⋅x+b)策略损失函数极小化minw,bL(w,b)=−∑xi∈Myi(w⋅xi+b)\begin{aligned}&\min_{w,b} L(w,b) = -\sum_{x_i \in M} y_i(w·x_i +b)\end{aligned}w,bminL(w,b)=−xi∈M∑yi(w⋅xi+b)损失函数:将损失函数定义为分类点到超平面S的距离总和原创 2021-01-14 20:02:39 · 85 阅读 · 0 评论 -
1-1 数学空间/希尔伯特空间
1、想要理解数学空间和希尔伯特空间,我们的思路是:现代数学——>集合——>线性空间(向量空间)及基的概念——>赋范空间——>內积空间——>希尔伯特空间于是,我们想要理解希尔伯特空间,首先需要从距离开始,然后说说线性空间,到范数空间,再到內积空间,最后一直到欧式空间,希尔伯特空间和巴拿赫空间。现代数学最大的特点就是以集合为研究对象,将不同问题的本质抽取出来,变成同一类问...原创 2018-06-30 15:21:35 · 767 阅读 · 0 评论