- 博客(12)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 [监督学习]决策树
在监督学习中，根据输出是否为概率划分为概率监督学习和非概率监督学习。前面介绍的逻辑回归属于前者，而LDA和支持向量机属于后者，接下来介绍另一种非概率监督学习——决策树。问题给定训练集 D={(x1,y1),(x2,y2),⋯ ,(xN,yN)}D = \{(\boldsymbol{x_1},y_1),(\boldsymbol{x_2},y_2),\cdots,(\boldsymbol{x_N},y_N)\}D={(x1,y1),(x2,y2),⋯,(xN,yN)} ，其中 xi=(xi1,x
2020-07-22 10:17:47
263
原创 [监督学习]支持向量机
在机器学习中，SVM首次实现了经验风险和结构风险的结合作为优化准则，从而使得学习到的模型具有更好的鲁棒性。接下来我们以线性可分的二值分类问题为背景进行SVD原理的介绍，假设有 $N$ 个样本，其特征是2维的，其标签情况显示如下图，而我们SVM的最终目的就是求出一条分割线（在高维空间中称之为超平面）能够完成分类任务。
2020-07-16 16:37:38
649
原创 [监督学习]线性判别式分析(LDA)
线性判别式算法（LDA）LDA算法和PCA算法都是一种数据压缩的算法，由于前者属于无监督学习而后者属于监督学习，根据任务的不同，因而它们的侧重点不同，PCA算法关心的是原数据与新数据之间的最小重构误差，而LDA算法关注的是数据压缩后类别间的区分度。从上图中可以看出，LDA算法希望找到一个投影的方向，使得类别间中心点尽可能分散，而每一类的样本尽可能聚集，如果说PCA算法的优化准则是最小重构误差，则LDA的准则就是最小化类内方差、最大化类间均值。那我们该如何去选择这个投影方向呢？我们不妨先从数学原理出发
2020-07-14 23:20:53
795
1
原创 [深度学习]数学基础之最优化
在机器学习中，很多问题最终都可以归结为一个优化问题，对于不同情况的优化问题的求解，我总结了常见情况下的几种解决方案：针对无约束优化的梯度下降法和牛顿法、针对等式约束优化问题的朗格朗日乘子法以及不等式约束优化问题的KKT条件。
2020-07-07 22:09:54
1020
1
原创 [深度学习]数学基础之概率论
在深度学习中，概率论的基础知识占据了重要的地位，我在这里主要介绍了常用的极大似然估计的原理和应用，将极大似然估计中的误差的高斯分布与线性回归模型中的最小二乘法的联系。
2020-07-03 11:07:19
501
原创 [深度学习]数学基础之线性代数
在深度学习中，需要大量的线性代数相关的数学基础，我在这里主要整理了最常用的几个知识，包括方阵的特征值分解、一般矩阵的奇异值分解、矩阵的逆和伪逆、最小二乘估计和最小范数估计，最后介绍了PCA的原理和理论推导。
2020-06-30 23:50:35
1621
原创 [科学计算]插值法
在生活中，我们把描述事物之间的关系称之为函数。它有两种情况：一类是用离散数据表示的；另一类是有明显的表达式，但是表达式普遍很复杂，不易于计算和使用。为了解决这个问题，我们可以在一定的误差范围内，用一个简单易算的近似表达式来替代真实的函数。(这种思想和我们大脑的替代思维是一样的，可以阅读《思考，快与慢》)用简单的函数来近似真实函数，最常用的简单函数就是多项式 P(x)=a0+a1x+a2x2+⋯+anxnP(x) = a_0+a_1x + a_2x^2 + \cdots + a_nx^nP(x)=a0+a
2020-06-25 07:33:27
1228
原创 [科学计算]曲线拟合——最小二乘法
????宁可十年不将军，不可一日不拱卒问题：已知 x1,x2,⋯ ,xm;y1,y2,⋯ ,ym.x_1,x_2,\cdots,x_m;y_1,y_2,\cdots,y_m.x1,x2,⋯,xm;y1,y2,⋯,ym. 求一个简单易算的近似函数 P(x)≈f(x)P(x) \approx f(x)P(x)≈f(x) 。 但是此时 mmm 很大，而且 yi≠f(xi)y_i \neq f(x_i)yi=f(xi) ，因此这个时候数值插值就无可奈何了，没有必要再令 P(xi)=yi.i=1
2020-06-16 08:30:23
1006
原创 [科学计算]非线性方程的数值求解
[科学计算]非线性方程的数值求解实际问题中，线性方程甚至线性方程组都不是最常见的形式，世界的规律是错综复杂的，涉及更多的是非线性方程，而求解非线性方程的问题就显得颇为重要。那么这一节中，我们的出发点就是如何求解非线性方程f(x)=0f(x)=0f(x)=0 的根.1. 对分区间法相必大家记得这么一个定理：若f(x)∈C[a,b]，且f(a)⋅f(b)<0，则f(x)在(a,b)上必有一根。若f(x)\in C[a,b]，且f(a) ·f(b) < 0，则f(x)在(a,b)上必有一根。若f
2020-06-12 21:26:57
1015
转载 从中位数的不足说开去
转载来源 近日，看到一本书稿，主要内容是统计学和政府统计工作的基础知识。其中有一个问题，讲的是平均数和中位数。而讲中位数时，在介绍了其基本概念、作用之后，该书还指出了其两点不足。一是不能推算总体。因为其只是一系列个体数字由大到小排序后，位居中间的那个数字的数值，上面和下面的数字可能有各种各样的情况；二是不能分出结构。除非是把一个大的总体，再划分成若干小的总体，并在每个总体所有数字中寻找居中...
2019-03-01 17:02:25
697
1
主成分分析法的具体实现PCA.ipynb
2020-07-10
最优化理论KKT.pdf
2020-07-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人