吟游诗人——吟唱生命的不朽

参考资料：https://blog.csdn.net/qq_41754350/article/details/81460643https://blog.csdn.net/qq_41754350/article/details/81271567https://zhuanlan.zhihu.com/p/34922624Prim算法Prim针对点，而Kruskal针对边。Prim只适合无向带权图。维持一个集合，一开始选定一个点作为初始集合，另维持一个prev和dist列表。dist列表表示初始集合到

Floyd算法是求每一个顶点到每一个顶点间的最短距离，Dijkstra是求指定顶点到其余所有顶点间的最短距离。**Floyd思想：**不断加入新的中间结点，来判断加入新节点会否使得某点到其余点距离更近。for i in range(len(V)): # 中间结点 for j in range(len(V)): # 起始顶点 for k in range(len(V)): # 结束顶点 if dist[j][k] > dist[j][i] + dist

投出的某sci论文被reviewer指出公式的format不大行，其实自己之前在用word调的时候也发现了这个问题，于是打算改头换面，使用latex来重新写一遍。而LaTeX的引用格式和word是不一样的（至少调格式的方式不同），bibtex是很常用的一种方式了，但是出于某些原因十分赶时间，对文中五十余篇论文去重新找各自的bibtex格式，然后再挨个照着之前word版补充一些东西，实在太费时间。那么如何“废物利用”呢，即将原来的word版的已经写好的内容直接copy过来呢？word版的内容拿过来自然没问题

线性回归基本可以是LR的简化版（论证思路上），因此本文将主要探讨两个问题：1. 为什么LR可以将权重初始化为0？2. 为什么神经网络不能将权重初始化为0？本文参考资料：https://zhuanlan.zhihu.com/p/75879624为什么LR可以将权重初始化为0？为什么神经网络不能将参数初始化为0？以下图为例：情况1：w和b都初始化为0那么由于反向传播的公式，从上图一个简单反向传播可以看出，每一轮参数更新只能从后往前更新一层的参数。这且不管，而且由于初始化参数完全相同，那么上上图

卷积和池化都有如下几个参数：原始数据维度input_shape，卷积核大小kernel_size / 池化尺寸大小 pool_size，步长strides，填充padding=[‘same’, ‘valid’]。padding为valid如果padding为valid，那么不进行填充。在这种情况下，无论是卷积还是池化（池化将下面的kernel_size改为pool_size即可）的特征图的维度都是：input_shape−kernel_sizestrides+1\frac{input\_shape -

参考资料：https://www.bilibili.com/video/BV1aK411n7Du?t=670

序SVM是一种二分类模型，其学习策略为间隔最大化，也等价于“正则化的合页损失函数”最小化。SVM可分为以下三种类型：• 线性可分支持向量机：硬间隔• 线性支持向量机：软间隔• 非线性支持向量机：核函数本文将对以上三种类型的SVM做详细解释与推导，还将介绍一种快速学习算法：序列最小最优化算法（SMO）。线性可分支持向量机这是SVM最基本形式，其要求所提供的所有样本，必然线性可分。假设分类决策函数为f(x)=sign(w∗⋅x+b∗)f(x)=sign(w^*\cdot x+b^*)f(x)=

参考资料：https://zhuanlan.zhihu.com/p/78311644https://zhuanlan.zhihu.com/p/36331115前置内容：先读参考资料2到2.2之前，再读完参考资料1，再读完参考资料2。公式推导：总结EM算法分成E步和M步，其中E步固定模型参数，以确定隐含数据的分布，从而建立似然函数下界，而M步则寻找模型参数以最大化似然下界。每次更新后，似然函数值都会变大，因此模型一定会收敛。但由于模型非凸，存在许多极值点，因此不一定能收敛到全局最优。如

本文适合有集成学习与XGBoost基础的读者了解LightGBM算法。序LightGBM是基于XGBoost的改进版，在处理样本量大、特征纬度高的数据时，XGBoost效率和可扩展性也不够理想，因为其在对树节点分裂时，需要扫描每一个特征的每一个特征值来寻找最优切分点，耗时较大。而LightGBM则提出了GOSS（Gradient-based One-Side Sampling，基于梯度的单边采样）和EFB（Exclusive Feature Bundling，互斥特征捆绑）来分别进行样本采样和降低特征维

这个原因大抵是电脑用户名为中文，将其修改为英文即可。修改方式：https://blog.csdn.net/mini92/article/details/88943593

过拟合是指在训练集上误差小，测试集上误差大；欠拟合是指在训练集和测试集上误差都大。过拟合解决办法：• 增加训练数据（增加样本会降低模型方差）• 降低模型复杂度• 增加正则化参数• 采用集成学习• 使用dropout• 提前停止• BatchNormalization欠拟合解决办法：• 增加特征• 提高模型复杂度• 减小正则化系数过拟合，高方差，低偏差欠拟合，低方差，高偏差要搞清楚原因，只需了解清楚方差和偏差的概念：方差： 方差是描述模型每次输出结果与模型输出的期望之间的误差，

正则化介绍“正则化”可以通俗理解为“规则化”，即添加一些规则，对模型参数加以限制，以降低模型过拟合的风险。模型过拟合的一个显著原因是由于参数过多导致的，以一个线性回归模型为例：其中，由于w参数过多，使得模型复杂度高，则容易出现过拟合的现象。而w参数都是学习来的，因此正则化的思想是在损失函数中加入正则化项，对w参数加以限制，控制w参数的数量（即上例中n的数量）。即若使得wi为0的个数较多，则有效减少了模型参数数量和复杂度。加入正则化项前的损失函数被称为经验风险，加入正则化项后的损失函数被称为结构风险

基尼系数（Gini index）反映的是从数据集D中随机选取两个样本，其类别标记不一致的概率。因此，基尼系数越小，数据纯度越高。Gini(D)=1−∑k=1∣γ∣pk2.Gini(D)=1-\sum_{k=1}^{|\gamma|}{p_k^2}.Gini(D)=1−∑k=1∣γ∣​pk2​....

信息增益率与信息增益有关。信息增益存在一个问题，即若某个属性可取值数目较多，如用ID来作为分类标准，则信息增益会非常高。然而，这显然不符合实际情况，模型进入了过拟合，且不能对新数据进行有效的分类。增益率则在考虑了该情况的前提下，提出了一个新的公式：Gain_ratio(D,a)=Gain(D,a)IV(a)IV(a)=−∑v=1V∣Dv∣∣D∣log2∣Dv∣∣D∣Gain\_ratio(D, a)=\frac{Gain(D, a)}{IV(a)}\\IV(a)=-\sum_{v=1}^{V}{\f

信息熵（information entropy）是度量样本集合纯度/不确定度最常用的指标之一。但要注意，信息熵越小，表示不确定度越低，确定度越高，纯度越高。Ent(D)=−∑k=1∣γ∣pklog2pkEnt(D)=-\sum_{k=1}^{|\gamma|}{p_klog_2p_k}Ent(D)=−∑k=1∣γ∣​pk​log2​pk​信息熵是对信息量的度量。越小概率的事情发生所产生的信息量越大。信息量的公式表示如下：h(x)=−log2p(x)h(x)=-log_2p(x)h(x)=−log2

本文介绍了回归模型在模型选择上的常见评估指标：SST、SSR、SSE和R-square。SST：The sum of squares totalSSR：The sum of squares regressionSSE：The sum of squares errorSSTThe sum of squares total. SST是观测到的真实值与真实值的均值之间的差的平方和。∑i=1n(yi−y‾)2\sum_{i=1}^{n}{(y_i - \overline{y})^2}∑i=1n​(yi​

包外估计（out-of-bag estimate）是用未在训练集中出现的测试数据来作出决策的方法。【西瓜书P179】包外样本有许多用途。例如当基学习器是决策树时，可使用包外样本来辅助剪枝，或者用于估计决策树中各节点的后验概率以辅助对零训练样本节点的处理，当基学习器是神经网络时，可以使用包外样本来辅助早期停止以减小过拟合风险。...

逼近误差模型最好能逼近真实模型到什么程度考虑target function和能从假设空间中学到的the best function的距离而已经证明一层隐藏层（+一层输出层）也能很好地拟合任何函数。XOR问题不能被单独一层网络解决。泛化误差泛化即推广能力。考虑在假设空间中的best function和可以从数据集中学到的best function之间的距离。优化误差因为优化问题带来的误差。即从能数据集中学到的best function和使用该算法从数据集中学到的best function之间

本文参考众多资料，在此不进行罗列。下图为AdaBoost的公式推导下图为分类器权重α的推导公式

本文参考了网上较多资料综合而成，在此不进行罗列。