基础数学学习笔记
Nstar-LDS
n品炼丹师
展开
-
深度学习必备数学基础 全讲解
数学基础总结花书1-4章,所必备的数学基础如下矩阵对角化,SVD分解与应用(神经网络加速,图像压缩)逆矩阵,伪逆矩阵PCA原理与推导极大似然估计等估计方法有约束无约束的最优化问题...原创 2020-06-16 12:51:33 · 1315 阅读 · 1 评论 -
潜在语义分析——统计学时代NLP的经典方法
基本概要潜在语义分析,简称LSA(Latent semantic analysis),1990年提出,是一种无监督学习方法,主要用于文本的话题分析、信息检索、推荐系统、图像处理等等。其特点是通过矩阵分解发现文本与单词之间的基于话题的语义关系。文本信息处理中,传统方法以词向量表示文本的语义内容,以单词向量空间的度量表示文本之间的语义相似度。而这样的方式真的可以准确表示语义吗?不能(当时应该还是词袋模型one-hot表示法或频率统计或者共现矩阵,word2vec之后基本上可以满足,即使有的场景不满足也是要基原创 2020-05-26 15:36:07 · 1102 阅读 · 0 评论 -
主成分分析 所有知识点全解
基本概念梳理主成分分析方法,是一种使用最广泛的数据降维算法。主要思想是将n维特征映射到k维上,这k维是全新的正交特征,这些正交特征也被称为主成分,是在原有n维特征的基础上重新构造出来的k维特征。这k维构造得好不好,主要看k维空间下,对原始样本空间中数据的特点是否进行了有效的保持,这样机器学习性能才不会大打折扣,保持越多构造得就越好。这些k维空间的正交特征可以理解为k个坐标轴,这k个坐标轴的选取是有规律的,一般第一个坐标轴选取原始数据中方差最大的方向,第m个坐标轴选取与前m-1个正交且使得数据在该轴上投影原创 2020-05-23 13:32:53 · 2397 阅读 · 0 评论 -
全面理解奇异值分解
本篇笔记主要参考《统计学习方法》奇异值分解的定义与性质奇异值分解又叫做SVD,是一种矩阵因子分解方法,是统计学习中的重要工具。任意一个m x n矩阵,都可以表示为三个矩阵的乘积形式,分别是m阶标准正交矩阵、由降序排列的非负对角线元素组成的m x n矩形对角矩阵和n阶标准正交矩阵,这就称为该矩阵的奇异值分解。奇异值分解可以看作矩阵数据压缩的一种方法,即用因子分解的方式近似地表示原始矩阵,这种近似是在平方损失意义下的最优近似。统计学习方法中对奇异值分解定义如下其中UUT=IVVT=IΣ=diag原创 2020-05-20 20:56:31 · 14651 阅读 · 6 评论 -
线性代数——特征值与特征向量
定义几何学意义原创 2020-05-16 14:27:47 · 1972 阅读 · 0 评论 -
线性代数——LU(LR)分解
定义:给定矩阵A,将A表示成下三角矩阵L和上三角矩阵U的乘积,称为LU分解。原创 2020-05-13 11:20:45 · 6512 阅读 · 1 评论 -
矩阵可逆性的理解与总结
以下学习笔记总结于《程序员的数学之线性代数》基本概念对于给定的问题y=Axy=Axy=Ax,如何判断矩阵A是否可逆或者该问题在确定y时是否有解呢?首先,如果A不是方阵,解的存在性和唯一性两者至少有一个被破坏了。为什么呢?我将用下面一段话对该问题给出直观理解。A是m行n列,如果m<n,那么破坏的就是解的唯一性,因为A这个映射把原空间压缩了,压缩就必定存在信息丢失,在空间中也就意味着多个x将对应一个y,所以x不唯一。如果m>n,那么破坏的就是解的存在性,因为A这个映射把原空间维数扩大了,这时候原创 2020-05-10 10:57:04 · 8914 阅读 · 1 评论 -
极大似然估计与贝叶斯估计
文章目录极大似然估计核心思想一般步骤具体实例贝叶斯估计核心思想一般步骤具体实例总结极大似然估计核心思想已知某个随机变量的样本集合X符合某种概率分布,但是这个分布的超参数θ\thetaθ还未知。此时即可通过极大似然估计得到θ^\hat \thetaθ^,令估计得到的θ^\hat \thetaθ^使得这个样本集合出现的概率最大。即θ^=argmaxθP(D∣θ)\hat{\boldsymb...原创 2020-03-19 17:10:35 · 830 阅读 · 0 评论 -
协方差矩阵的几何性质
本篇笔记将以向量值随机变量X=(X1,…,Xn)TX=(X_1,\dots,X_n)^TX=(X1,…,Xn)T的协方差矩阵为例,研究其性质。在阅读笔记之前可先记下先导篇中的相关结论,尤其是该篇中任意方向发散程度章节的结论。本篇笔记主要参考借鉴的基础教材是《程序员的数学之概率统计》。单位矩阵与圆首先看一种最简单的情况,即协方差矩阵为单位矩阵。此时该矩阵有一个显著特征,即任意方向上的方差都为...原创 2020-03-15 14:13:27 · 7062 阅读 · 1 评论 -
透彻理解多元正态分布
本篇内容主要是对于基本书籍教材多元正态分布相关章节所写的学习笔记,结合自己的理解尽可能表述得通俗易懂,主要思路内容取自《程序员的数学之概率统计》。前言多元正态分布就是含有多个变量的正态分布,为什么关于多元正态分布要专门写一篇学习笔记?因为其具有重要意义,在理论研究或者实际应用中,我们常会首先考虑多元正态分布是否适用,如果不符,再考虑其他类型的分布。基于下面两个特征,多元正态分布应用十分广泛:...原创 2020-03-14 14:50:52 · 17101 阅读 · 3 评论 -
透彻理解协方差与协方差矩阵
文章目录基础预备知识协方差简介协方差矩阵简介协方差矩阵的向量表述必备的基本结论通过图形解释协方差矩阵协方差矩阵的变量变换任意方向的发散程度本篇内容主要是对于基本书籍教材协方差相关章节所写的学习笔记,结合自己的理解尽可能表述得通俗易懂,主要思路内容取自《程序员的数学之概率统计》。基础预备知识协方差简介先来直接看协方差的定义式,所有其他关于协方差的公式都是基于如下定义式的推导:Cov[X,...原创 2020-03-11 16:07:02 · 9100 阅读 · 2 评论