![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数学
文章平均质量分 91
LearningDeeply
将博客作为自己的电子笔记,旧的博客会不断更新,加入一些新的东西和一些自己的理解
展开
-
机器学习中的数学:信息论(Information Theory)
本博客是阅读Dive into Deep Learning 附录中Information Theory的笔记。信息论对我们理解损失函数很重要,所以学习一些相关的知识很有必要。原创 2021-08-30 09:10:55 · 1191 阅读 · 0 评论 -
机器学习中的数学 ch12:支持向量机分类(Classification with Support Vector Machines)
文章目录在机器学习中,有一种分类问题,这种分类问题只有两个预测结果,是或否,即:f:RD→{0,1}f:\mathbb R^D\rightarrow \{0,1\}f:RD→{0,1}为了计算方便,我们使用0,1来表示两种分类的结果,这种分类问题被称为二元分类(Binary Classification)。本章节就是主要介绍用支持向量机(Support Vector Machine,SVM)来解决这种分类问题。...原创 2021-07-25 08:25:24 · 724 阅读 · 0 评论 -
机器学习中的数学ch11:基于高斯混合模型的密度估计(Density Estimation with Gaussian Mixture Models)
文章目录高斯混合模型(Gaussian Mixture Model)利用极大似然估计进行参数学习(Parameter Learning via Maximum Likelihood)责任(Responsibilities)更新均值(Updating the Means)更新协方差(Updating the Covariances)更新混合权重(**Updating the Mixture Weights**)实例(Example)期望最大化算法(EM Algorithm)潜变量角度(Latent-Varia原创 2021-07-05 10:09:14 · 1580 阅读 · 0 评论 -
MML ch 10 主成分分析降维(Dimensionality Reduction with Principal Component Analysis)
文章目录问题设置(Problem Setting)对于一些高维的数据,分析难度大,而且想要对这些数据进行可视化几乎是不可能的,并且想要存储这些数据的代价也是及其昂贵的,所以我们想要找到一种能够将数据的维度降低的方法。这其中,主成分分析法(principal component analysis (PCA))是最常用的方法之一。问题设置(Problem Setting)在PCA中,我们希望能够找到一个一个向量的投影向量x~n\tilde x_nx~n,与原向量尽可能相近。对于一个独立均匀分布的数据集原创 2021-07-02 12:38:46 · 425 阅读 · 0 评论 -
机器学习中的数学:线性回归Linear Regression
文章目录问题描述(Problem Formulation)参数估计(Parameter Estimation)极大似然估计(Maximum Likelihood Estimation)回归的目的就是找到一个函数fff,将输入的数据x∈Rn\boldsymbol x\in \mathbb R^nx∈Rn映射成f(x)∈Rf(\boldsymbol x)\in \mathbb Rf(x)∈R.数据的观测噪音为:yn=f(xn)+ϵy_n=f(x_n)+\epsilonyn=f(xn)+ϵ,其中ϵ\epsi原创 2021-06-15 09:12:40 · 694 阅读 · 1 评论 -
机器学习中的数学: When Models Meet Data
文章目录Data, Models, and LearningData as VectorsModels as Functions经验风险最小化(Empirical Risk Minimization)假设函数的种类(Hypothesis Class of Functions)代价函数(Loss Function for Training)正则化减小过拟合(Regularization to Reduce Overfitting)Data, Models, and LearningThe title co原创 2021-05-26 10:51:34 · 299 阅读 · 0 评论 -
机器学习中的数学:(六)连续优化(Continuous Optimization)
文章目录梯度下降法(Optimization Using Gradient Descent)在本节中,主要讨论连续优化的两个主要分支:约束优化(constrained optimization)、无约束优化(unconstrained optimization)。在求解一个线性方程的最优问题的时候,可以对方程进行求导,让后让求导得到的式子赋值为0,接触的结果就是驻点(Stationary points),想要知道这个驻点是极大值还是极小值,需要看在该点的二阶导数的的值的情况。由于五次方及以上的高次方程没原创 2021-05-14 10:40:52 · 2992 阅读 · 0 评论 -
机器学习中的数学:(五)概率与分布(Probability and Distributions)
文章目录概率空间的构造(Construction of a Probability Space)哲学问题(Philosophical Issues)概率和随机变量(Probability and Random Variables)统计(Statistics)离散概率和随机概率(Discrete and Continuous Probabilities)概率空间的构造(Construction of a Probability Space)哲学问题(Philosophical Issues)这部分是对原创 2021-05-11 10:17:57 · 2350 阅读 · 0 评论 -
机器学习中的数学:(四)矢量积分(Vector Calculus)
文章目录单变量微分(Differentiation of Univariate Functions)泰勒级数单变量微分(Differentiation of Univariate Functions)定义:差商形式正式定义:割线在极限情况下变成切线多项式导数的推导:df dx=limh→0f(x+h)−f(x)h=limh→0(x+h)n−xnh=limh→0∑i=0n(ni)xn−ihi−xnh.\begin{aligned}\frac{\mathrm{d} f}原创 2021-04-29 12:23:32 · 2706 阅读 · 0 评论 -
机器学习中的数学:(三)矩阵分解(Matrix Decompositions)
文章目录行列式与迹(Determinant and Trace)行列式(Dterminant)迹(Trace)矩阵分解可以用于压缩矩阵,已经可能少的空间存储一个矩阵行列式与迹(Determinant and Trace)行列式(Dterminant)行列式可以看成将一个方阵映射成一个实数。(只有方阵才有行列式)可以将行列式用于判断一个方阵是否可逆:对于上/下三角矩阵的行列式的值为:det(T)=∏i=1nTii\operatorname{det}(\boldsymbol{T})=\pro原创 2021-04-26 10:32:53 · 1697 阅读 · 0 评论 -
机器学习中的数学:(二)解析几何
这是原书的第二章,主要将原先的一些概念从几何的角度进行拓展。原创 2021-04-22 15:17:46 · 1256 阅读 · 0 评论 -
机器学习中的数学:(一)线性代数
研究生的方向就是人工智能,早就听说人工智能对于数学的要求高,所以为了不让数学变成自己的天花板,所以利用本科的最后一些时间学习人工智能中的数学。原创 2021-04-21 10:22:36 · 447 阅读 · 1 评论 -
Math Learning
文章目录牛顿迭代法牛顿迭代法牛顿迭代法可以用于求方程的近似解,需要:函数在整个定义域内最好是二阶可导的起始点对求根计算影响重大,可以增加一些别的判断手段进行试错其方法描述为,在函数上任取一点A取该点切线与x轴的交点B,然后经这条交点B做垂线与函数相交于C点,然后以该点作为A点重复上述操作直到满足精度要求。迭代公式为:xn+1=xn−f(xn)f′(xn+1)x_{n+1} = x_{n} - \frac{f(x_n)}{f'(x_{n+1})}xn+1=xn−f′(xn+1)f(xn原创 2021-03-10 08:00:41 · 162 阅读 · 0 评论