投笔丶从戎的博客

本系列博客旨在为机器学习(深度学习)提供数学理论基础。因此内容更为精简，适合二次学习的读者快速学习或查阅。用来衡量整个概率分布中的不确定性总量，即遵循这个分布的事件所产生的期望信息总量。表示若一件事发生的概率越低，那么其包含的信息量也就越大。是为了衡量某件事情发生所包含的信息多少。若是连续型随机变量，香农熵被称为。来衡量这两个分布的差异。有两个单独的概率分布。

从最终结果来看，两者之间的优化目标是一样的，但从本质上来讲，最小二乘法只是最大似然在正态分布下的一种特殊情况。如果假设其它分布则会有不同的结果，如：伯努利分布下，最大似然估计的结果就是逻辑回归。多项式分布下，最大似然估计的结果就是softmax回归。感兴趣的读者可以自行证明。

#线代学习笔记--第二章：矩阵及其运算1、矩阵的定义2、常用矩阵3、矩阵运算1、矩阵的定义        由 m×nm\times nm×n 个数 aija_{ij}aij​ 排成的 mmm 行 nnn 列的数表称为 mmm 行 nnn 列矩阵，简称 m×nm\times nm×n 矩阵。2、常用矩阵        1）、若行数与列数都等于

#线代学习笔记--第一章：行列式引言1、排列及其逆序数2、行列式定义2、行列式性质3、行列式按行展开4、本章总结引言        本系列博客旨在为机器学习(深度学习)提供数学理论基础。因此内容更为精简，适合二次学习的人快速学习或查阅。1、排列及其逆序数        将 nnn 个元素排成一列，叫做这 nnn 个元素的排列。排列数量有 n

本系列博客旨在为机器学习(深度学习)提供数学理论基础。因此内容更为精简，适合二次学习的读者快速学习或查阅。 定义1：设 X、YX、YX、Y 是两个非空集合，如果存在一个法则 fff ，使得对 XXX 中每个元素 xxx ，按法则 fff ，在 YYY 中有唯一确定的元素 yyy 与之对应，那么称 fff 为从 XXX 到 YYY 的映射，记作 f:X→Yf:X\to Yf:X→Y ，其中 yyy 称为元素 xxx （在映射 fff 下）的像，并记作 f(x)f(x)f(x) ，即 y=f(x)

本系列博客旨在为机器学习(深度学习)提供数学理论基础。因此内容更为精简，适合二次学习的读者快速学习或查阅。（3）在区间端点处的函数值相等，即。，且等号仅在有限多个点处成立，那么函数。，且等号仅在有限多个点处成立，那么函数。......

本系列博客旨在为机器学习(深度学习)提供数学理论基础。因此内容更为精简，适合二次学习的读者快速学习或查阅。 定义1：设 DDD 是 R2R^{2}R2 的一个非空子集，称映射 f:D→Rf:D\to Rf:D→R 为定义在 DDD 上的二元函数，通常记为 z=f(x,y),(x,y)∈Dz=f(x,y),(x,y)\in Dz=f(x,y),(x,y)∈D 或 z=f(P),P∈Dz=f(P),P\in Dz=f(P),P∈D ，其中点集 DDD 称为该函数的定义域， xxx 和 yyy 称为

5）当我们知道了一组变量的联合概率分布，但想要了解其中一个子集的概率分布，这种定义在子集上的概率分布被称为。来表示，PMF将随机变量能够取到的每个状态映射到随机变量取得该状态的概率，例如。是可以随机地取不同值的变量，我们通常使用无格式字体中的小写字母，如。用来描述随机变量或一簇随机变量在每一个可能取到的状态的可能性大小。，有时候，我们希望概率分布中的所有质量都集中在一个点上，可以通过。的每一个值都可以写成乘积的形式，那么这两个随机变量。来表示随机变量能够取到的值，即一个可能的取值。......

主成分分析（principal components analysis，PCA）是一个简单的机器学习算法，能够在损失精度尽可能少的前提下，对数据进行有损压缩。

本系列博客旨在为机器学习(深度学习)提供数学理论基础。因此内容更为精简，适合二次学习的读者快速学习或查阅。 定义1：设函数 y=f(x)y=f(x)y=f(x) 在点 x0x_{0}x0​ 的某个邻域内有定义，当自变量 xxx 在 x0x_{0}x0​ 处取得增量 Δx\Delta xΔx （点 x0+Δxx_{0}+\Delta xx0​+Δx 仍在该邻域内）时，相应地，因变量取得增量 Δy=f(x0+Δx)−f(x0)\Delta y=f(x_{0}+\Delta x)-f(x_{0})Δ

这个问题仍然是学术界的热点问题，但是学者们现在猜想，对于足够大的神经网络而言，大部分局部极小值都具有很小的代价函数，我们能不能找到真正的全局最小点并不重要，而是需要在参数空间中找到一个代价很小（但不是最小）的点。位于正特征值对应的特征向量方向的点比鞍点有更大的代价，反之，位于负特征值对应的特征向量方向的点有更小的代价。有些凸函数的底部是一个平坦的区域，而不是单一的全局最小点，但该平坦区域中的任意点都是一个可以接受的解。如果具有很大代价的局部极小值是常见的，那么这将给基于梯度的优化算法带来极大的问题。

#机器学习--线性代数基础--第四章：向量组的线性相关性

（2）重投影实现的显式约束对优化过程增加了一定的稳定性：当使用较高的学习率时，很可能进入正反馈，即大的权重诱导大梯度，然后使得权重获得较大更新，从而让网络更快地探索参数空间，而且同时还不会让权重脱离限制区域。：到了测试阶段，就不能再使用 Dropout 了，因为这会导致模型不稳定，即每一次相同的输入会产生不同的输出。Bagging 中的所有模型都是独立的，但在 Dropout 的情况下，所有模型。，这样做的显著优点是，只有参数的子集需要被存储在内存中，可以显著减少模型的内存占用。

本系列博客旨在为机器学习(深度学习)提供数学理论基础。因此内容更为精简，适合二次学习的读者快速学习或查阅。使得值到直线的误差最小，因此我们需要采用梯度下降算法来找到最小化下式的。读者可以自行调参尝试，以获得更优解。，目标是找到一条直线。...

#机器学习--线性代数基础--第三章：向量组的线性相关性1、向量的定义2、线性组合3、向量组的线性相关性4、向量组的秩5、向量空间1、向量的定义        nnn 个有次序的数 a1,a2,…,ana_{1},a_{2},\dots ,a_{n}a1​,a2​,…,an​ 所组成的数组称为 nnn 维向量，这 nnn 个数称为该向量的 nnn 个分量，第 iii 个数 aia_{i}ai​ 称为第 iii 个分量。 nn

正如我们可以通过分解质因数得出整数的一内在些性质，我们也可以通过分解矩阵来发现矩阵表示成数组元素时不明显的函数性质。由于特征分解只能适用于方阵，且某些情况下会涉及复数而非实数，因此为了能够对任意实数矩阵进行分解，提出了另一种分解方式，即。有时候我们可能也希望衡量矩阵的大小，通常使用F（Frobenius）范数，即。一般的，一个数组中的元素分布在若干维坐标的规则网格中，我们称之为。的每一行相加，这种简写方法使我们无须在加法操作前定义一个将向量。具有相同的特征值，因此通常我们讨论特征向量时只考虑单位特征向量。.

本系列博客旨在为机器学习(深度学习)提供数学理论基础。因此内容更为精简，适合二次学习的读者快速学习或查阅。1）连续函数一定有原函数。的带有任意常数项的原函数称为。是单调的可导函数，并且。具有原函数，则有换元公式。，原函数的图形被称为。.........