CarpeDiem

本篇主要用来学习使用，阈值函数包括软阈值和硬阈值的公式推导以及代码实现，主要把原文内容进行了重新整合，详细内容可以参考文后文章。

在概率论和信息论中，两个随机变量的互信息（Mutual Information，简称MI）或转移信息（transinformation）是变量间相互依赖性的量度。不同于相关系数，互信息并不局限于实值随机变量，它更加一般且决定着联合分布p(X,Y)和分解的边缘分布的乘积p(X)p(Y)的相似程度。互信息(Mutual Information)是度量两个事件集合之间的相关性。本篇主要从互信息的定义出发，推出互信息由熵得到的表达式，最后通过MATLAB进行代码实现。......

本篇主要内容涉及最小二乘法的矩阵表达与几何意义，从概率的视角，来推导最小二乘法，最后考虑在特征维数大于样本数量的情况，引入正则化项。

傅立叶变换以及拉普拉斯变换本质上都是积分变换，而傅立叶变换是拉普拉斯变换的特殊形式，而Z变换是拉普拉斯变换的离散形式。每种变换都有其应用价值，傅立叶变换在信号处理的频域分析中提供了强大的数学工具，而拉普拉斯变换在电子学、控制工程、航空航天等领域提供了建模、分析的数学分析工具；Z变换则将这些变换进而落地为数字实现提供数学理论依据。

在概率统计和其他应用学科中会经常用到伽玛函数和贝塔函数，有的反常积分的计算最后也会归结为贝塔函数或伽玛函数。伽玛函数(Gamma函数)，也叫欧拉第二积分，是阶乘函数在实数与复数上扩展的一类函数；而贝塔函数(Beta函数)被称为第一类欧拉积分，可以用来快速计算同伽马函数形式相类似的积分。

矩阵微分是计算标量、向量或者矩阵函数关于其向量或矩阵变元的偏导的有效数学工具。本篇主要介绍矩阵的迹、一阶实矩阵微分的有关理论、矩阵微分的运算法则及应用。熟练掌握这一节的方法，对于标量对矩阵和向量的求导可以轻松求解。

本篇主要讲我们日常经常碰到的向量变元、矩阵变元的实值标量函数的求导，按定义进行计算，其中数学推导原理比较简单，但过程有点繁琐，如果可以手动推导一下常用公式，会加深对矩阵求导的理解和法则的使用。下一篇会给大家介绍利用一阶实矩阵微分简化计算。

矩阵微分（Matrix Differential）也称矩阵求导（Matrix Derivative），那么当我们遇到标量或者向量对向量、矩阵求导，那么该如何去排列这种求导的运算？本篇就带你学习当分母、分子分别为列向量、行向量、矩阵时，该如何布局求导结果，以及有什么意义？同时介绍Jacobian矩阵与梯度矩阵的联系。

矩阵的奇异值分解（singular value decomposition，简称SVD）是线性代数中很重要的内容，并且奇异值分解过程也是线性代数中相似对角化分解（也被称为特征值分解，eigenvalue decomposition，简称EVD）的延伸。本节就介绍SVD的原理和Python实现。

在统计学，或者数据处理中，通常遇到的数据都是多维的，多维随机变量也称随机向量，本节主要介绍实随机向量的概率密度函数、相关矩阵、协方差矩阵、相关系数。

矩阵乘积分为三种，普通乘积、Hadamard 积、Kronecker 积，常用的是普通乘积（matmul product）和哈达玛积（Hadamard product），这里介绍他们的定义和如何计算，同时用Python实现，详细的性质可以在使用的时候进行查阅。......

本篇主要介绍我们在实际应用中经常接触的线性变换，如正交变换、对称变换、埃尔米特变换等，接着介绍了正交矩阵、对称矩阵、Hermite矩阵、酉矩阵、奇异矩阵、正规矩阵、幂等矩阵、初等矩阵的性质，最后以矩阵常用的三种等价关系，相抵、相似、合同结尾。

在线性代数，函数分析等数学分支中，范数（Norm）是一个函数，其赋予某个向量空间（或矩阵）中的每个向量以长度或大小。对于零向量，另其长度为零。直观的说，向量或矩阵的范数越大，则我们可以说这个向量或矩阵也就越大。这里主要介绍向量范数中的0-范数、1-范数、2-范数、∞-范数，以及这些范数与距离之间的关系，最后引入矩阵范数。

本节主要是在看了机器学习白板推导的数学基础，整理的高斯分布的学习笔记，主要涉及一维高斯分布的极大似然估计和无偏估计，同时也介绍了多维高斯分布的理解和多维高斯分布的局限性，并给出我们在实际应用中经常碰到的两种情况：第一种，已知联合概率分布求边缘概率和条件概率分布；第二种：已知边缘概率和条件概率分布求联合概率分布。

极限定理是概率论的基本理论，在理论研究和应用中起着重要的作用，其中最重要的是称为“大数定律”与“中心极限定理”的一些定理。大数定律是叙述随机变量序列的前一些项的算术平均值在某种条件下收敛到这些项的均值的算术平均值；中心极限定理则是确定在什么条件下，大量随机变量之和的分布逼近于正态分布。

本篇主要讲概率论与数理统计常用到的样本空间、时间、随机变量、概率空间、多维随机变量、多元随机变量、样本、总体、统计量等基本概念。

协方差矩阵在统计学和机器学习中随处可见，一般而言，可视作方差和协方差两部分组成，即方差构成了对角线上的元素，协方差构成了非对角线上的元素。本文将针对协方差矩阵做一个详细的介绍，其中包括协方差矩阵的定义、数学背景与意义、计算公式的推导、几何解释。

统计分布常用于总体的建模，因此我们处理的往往不是单个的分布，而是一族分布。一个分布族共用一个函数形式，其中包含一个或多个参数，用以确定具体的分布。只有了解各个分布的特点，我们才能更好地统计分析。

本篇主要对统计学中的随机过程的知识汇总，主要介绍马尔科夫过程、高斯过程、信息论相关知识，承接统计篇（一）。

机器学习里常用到的数学知识分别是微积分、线性代数与矩阵论、数理统计与随机过程。本篇主要是对概率论与数理统计知识的整理，包括概率与分布、期望和方差、大数定律和中心极限定律、高斯分布、先验分布与后验分布、随机过程中马尔科夫过程和高斯过程（统计篇（二））、信息论熵的理解（统计篇（三））。