Fuego801的博客

本系列笔记只记载疑点，难点，和不懂得点。1.标签：标签具有不可靠性，人为因素可以改变标签来误导预测结果。标签也必须是可观察可量化的(指标).2.特征：合适的特征应该是具体且可量化的。...

1.同型矩阵：行数和列数都相同的两个及以上的矩阵。 2.矩阵的加减法，数乘，乘法； 3.性质： A+B=B+A (A+B)+C=A+(B+C)结合律：(AB)C=A(BC) 分配律： (A+B)C=AC+BC C(A+B)=CA+CB4.矩阵的乘法不满足交换律。...

方阵： n阶矩阵，n行n列，主对角线、次对角线。单位矩阵： E 也就是主对角线都是1，其他都是0.正交矩阵： 满足A x (A)T = E，则称A为正交矩阵。矩阵的转置： 上/下三角矩阵： 针对主对角线来说.行列式： 会计算行列式，三阶；奇异矩阵条件： 是方阵； 行列式为0；...

1.向量：

学会计算特征值与特征向量 Av = λv, λ为特征值（对应特征向量的长度倍数），v为对应λ的特征向量。 如何计算？百度。。。

奇异值概念： 特征值分解是一个提取矩阵特征很不错的方法，但是它只是对方阵而言的，而奇异值分解是一个能适用于任意的矩阵的一种分解的方法。 奇异值求解过程： 第一张图是将奇异值式子简化，化为求特征值的式子，即为Av = λv的样式。 这样就方便求解V, D矩阵的值，然后再求U矩阵的值。...

了解极限与导数的概念： 导数:f ’ (x0) = △y/△x;常用导数公式：

方向导数： 主要是求在某个方向上导数最大，然后此时梯度下降最快，可以以最快的速度达到最优解。但有可能计算360度方向上进行导数计算，其导数可能只是局部最优值，因为可能按照当前方向进行计算，到了一半进度的时候，又遇到了比他高的陡坡，而没有按此方向计算一直到底部，这就称之为局部最优解。 ...

概率介绍及公式： 机器学习、深度学习预测印刷版/手写版数字的原理： 是基于概率预测的，首先假设预测图为数字‘9’， 然后ml,dl模型对原图与模型中的‘0’ –‘9’数字一一对应，分别得出相应的概率，然后挑选出最大概率的数字，就是最终预测的结果。...

期望： 方差：

矩阵的概念： 一个长方形排列的复数和实数集合供人理解的图片： 矩阵形式是供给机器看的，用于输入数据： Minst数据集：55000张数字图矩阵是开放的。每张图片50行*32列=1600个像素点；因为共55000张图片，如果要将所有图片的像素都汇集到一个矩阵中，那么每行作为一个图片的像素，将每张图片的1600个像素点展开为一行，这样就组成了一个55000行*1600列的超...

线性回归的损失函数是平方损失。逻辑回归的损失函数是对数损失函数，定义如下： 逻辑回归中的正则化：因此，大多数逻辑回归模型会使用以下两个策略之一来降低模型复杂性：L2 正则化。早停法，即，限制训练步数或学习速率。总结逻辑回归模型会生成概率。对数损失函数是逻辑回归的损失函数。逻辑回归被很多从业者广泛使用。...

最简单的机器学习算法—线性回归算法1.均方误差： 我的理解： 其中x就是输入数据，线性回归是一个黑匣子（其实是白匣子，预测模型），y就是要预测的数据，即为输出数据。...

降低损失1.迭代方法 （我的理解）其实所谓的迭代就是：不断对初始权重和偏差进行猜测，然后计算误差损失，再次猜测，再次预测从而计算误差，循环往复，直至找到相对最小误差的预测模型。要点：在训练机器学习模型时，首先对权重和偏差进行初始猜测，然后反复调整这些猜测，直到获得损失可能最低的权重和偏差为止。这里的降损算法所包括的学习速率来计算步长，背后的数学原理，我还没有...

泛化概念： 泛化是指模型很好地拟合以前未见过的新数据（从用于创建该模型的同一分布中抽取）的能力。总结:如果某个模型尝试紧密拟合训练数据，但却不能很好地泛化到新数据，就会发生过拟合。如果不符合监督式机器学习的关键假设，那么我们将失去对新数据进行预测这项能力的重要理论保证。...

将单个数据集拆分为一个训练集和一个测试集。确保您的测试集满足以下两个条件：规模足够大，可产生具有统计意义的结果。能代表整个数据集。换言之，挑选的测试集的特征应该与训练集的特征相同。测试集切勿加入到训练集，否则会产生迷惑人的准确率，这时是不准确的。...

原先结构图（只有训练集、测试集）： 其结果导致过拟合，训练集与测试集之间会相互影响，也就是测试集的信息会有一部分在训练模型中，导致预测结果会偏高，从而误导了我们对模型的认识。 修改后的模型，加入了验证集，测试集完全没使用过，保证了训练模型对测试集信息完全未知，这样更符合实际，预测效果的准确性也就更可靠。 提示不断使用测试集和验证集会使其逐渐失去效果。也就是说，您使用相同数据...

表示法特征工程指的是将原始数据转换为特征矢量。数据清理缩放特征值–好处：帮助梯度下降法更快速地收敛。帮助模型为每个特征确定合适的权重。如果没有进行特征缩放，则模型会对范围较大的特征投入过多精力。帮助避免“NaN 陷阱”。...

特征组合目的：主要是为了简化非线性问题，将其简化为线性问题，便于理解分析。概念：特征组合是指通过将两个或多个输入特征相乘来对特征空间中的非线性规律进行编码的合成特征。区分:分箱：指的是一种将区间用01来表示的方式，这样大大简化了解决问题的复杂度，毕竟对于比较细的浮点数精度，相差很小的话他们预测结果差别很小，所以我们将某个特定区间（他们预测结果大致一致）作...

仅有损失项，无法保证目标损失小，可能会导致过拟合。 可以通过降低复杂模型的复杂度来防止过拟合，这种原则称为正则化。各个权重值越大，最终的L2正则化越大，模型复杂度就越大。 所以通过特征和特征组合的权重值来衡量模型复杂度。 ...

1.伯努利分布： 2.高斯分布3. 泊松分布：