BetterBench的博客

AI与信号处理推荐书单

来源：李宏毅2022课程第10课的作业。图片攻击是指故意对数字图像进行修改，以使机器学习模型产生错误的输出或者产生预期之外的结果。这种攻击是通过将微小的、通常对人类难以察觉的扰动应用于输入图像来实现的。图片攻击是对深度学习系统中的鲁棒性和安全性的一种测试，也可以用于欺骗、隐私侵犯、对抗性水印等。

使用TensorFlow1.x版本来实现手势识别任务中，并用图像增强的方式改进，基准训练准确率0.92，测试准确率0.77，改进后，训练准确率0.97，测试准确率0.88。2 读取数据集3 创建占位符① TensorFlow要求您为运行会话时将输入到模型中的输入数据创建占位符。② 现在要实现创建占位符的函数，因为使用的是小批量数据块，输入的样本数量可能不固定，所以在数量那里要使用None作为可变数量。

这是一个非时间序列的回归任务，预测公共场所获取的人群数据，预测会发生COVID-19阳性的人数。改进角度，参考博客**：http://t.csdnimg.cn/fUAzT。我将老师给的代码重构了结构，便于组员之间协作编程，无需修改的代码都放到了utils.py中。只需要修改特征选择、神经网络、模型训练部分的代码就可以。

在非时间序列的回归任务中，深度学习和机器学习都是常用的方法。为了进一步提升模型的性能，可以通过改进数据处理、数据增强、特征选择、模型选择、模型正则化与泛化、优化器、学习率、超参数调优等方面，来提升模型的性能和可解释性。

已知变量A和B的取值只能为0或1，A⫫𝑩，且𝑝(𝐴=1)=0.65，𝑝(𝐵=1)=0.77。

1、请给出以下问题的求解步骤，逐步给出计算过程：已知条件为P(w_2)=0.1λ11​0λ12​6λλ21​1λ22​0根据以下决策表，按最小风险贝叶斯决策进行分类解：根据最小风险贝叶斯决策，当后验概率乘以代价最小时，我们才能选择正确的分类。所以首先需要求出后验概率和总代价。根据贝叶斯公式，对于给定的观测值xPw1​∣xPxPx∣w1​Pw1​​Pw2​∣xPxPx∣w2​Pw2​​Px。

P(有罪 | 跨种族夫妇, 黄色汽车) = (P(跨种族夫妇 | 有罪) * P(驾驶黄色汽车 | 有罪) * P(有罪)) / P(跨种族夫妇, 黄色汽车) = [(1/1000) * (1/10) * (1/1625000)] / (1/10000) = 1/1625。我们需要求的是在已知患有X病的人几乎都吃过汉堡和患上X病的概率很低的情况下，吃过汉堡的人患X病的概率。其中，P(X)表示患上X病的概率，P(Ham|X)表示在已知患有X病的情况下吃过汉堡的概率，P(Ham)表示吃过汉堡的概率。

我想用json格式保存MATLAB生成是数据集，包括数据data，数据Label。然后用python读取JSON文件作为训练集。

在数据集中有4个变量，如A，B，C和D.执行了以下操作： 步骤1：使用上述变量创建另外两个变量，即E = A + 3 * B和F = B + 5 * C + D。数据科学家可能会同时使用多个算法（模型）进行预测， 并且最后把这些算法的结果集成起来进行最后的预测（集成学习），以下对集成学习说法正确的是。以下是目标变量在训练集上的 8 个实际值 [0,0,0,1,1,1,1,1]，目标变量的熵是所少？B、召回率是指检索出的相关文档数和文档库中所有的相关文档数的比率，衡量的是检索系统的查全率。

28_2. 假设我们使用 kNN 训练模型，其中训练数据具有较少的观测数据（下图是两个属性 x、y 和两个标记为 “+” 和 “o” 的训练数据）。若 λ 较大时，关于偏差（bias）和方差（variance），下列说法正确的是？3_1. 下列关于极大似然估计（Maximum Likelihood Estimate，MLE），说法正确的是（多选）？仅仅知道变量的均值（Mean）和中值（Median），能计算的到变量的偏斜度（Skewness）吗？下列哪一种偏移，是我们在最小二乘直线拟合的情况下使用的？

（1）简单介绍一下PCA主成分分析(Principal componet analysis,PCA) 是一种无监督学习方法，利用正交变换把线性相关变量表示的观测数据转换为几个由线性无关变量表示的数据，线性无关的变量成为主成分。主成分的个数通常小于原始变量的个数，属于降维方法。根据分解协方差矩阵的策略，分为两种PCA方法，第一种是基于特征值分解协方差矩阵实现PCA算法，第二种是基于奇异值分解法(SVD)分解协方差矩阵实现PCA算法。（2）PCA的算法过程对样本数据中心化处理求样本协方差矩阵。

后剪枝的思想是让算法生成一颗完全生长的决策树，然背后从最底层向上计算是否剪枝。剪枝过程将子树删除，用一个叶子结点替代。相比于预剪枝，后剪枝方法通常可以得到泛化能力更强的决策树，但时间开销更大。预剪枝的思想是在树中结点进行扩展之前，先计算当前的划分是否带来模型泛化能力的提升，如果不能，则不再继续生长子树。预剪枝对何时停止决策树的生长有几种方法。分为预剪枝和后剪枝。

SVM支持向量机(support vector machines,SVM)是一种二分类模型。分为线性可分支持向量机：训练数据线性可分，通过硬间隔最大化学习一个线性的分类器，又称为硬间隔支持向量机。线性支持向量机：训练数据近似线性可分，通过软间隔最大化学习一个线性的分类器，又称为软间隔支持向量机。非线性支持向量机：训练数据线性不可分，通过核技巧及软间隔最大化，学习非线性支持向量机。

PyTorch 是基于 Torch 库的计算机软件的一部分，它是 Python 的开源机器学习库。它是由 Facebook 人工智能研究小组开发的深度学习框架。它用于。

TensorFlow是一个基于Python的库, 用于创建机器学习应用程序。它是执行复杂数学的低级工具包。它为用户提供了可定制性选项, 以构建实验性学习体系结构。它还可以帮助用户与他们合作, 并将他们转变为正在运行的软件。它最初由Google Brain团队的研究人员和工程师创建, 并于2015年成为开源。TensorFlow由两个词Tensor和Flow组成；张量被称为多维数组的数据表示, 流意味着对张量执行的一系列操作。

ISODATA算法也是在K值上面改进，它在k-means算法的基础上增加了两个操作，第一是分裂操作，增加聚类中心数，即当属于某个类别的样本数过多时、分散程度较大时，把该类别分为两个子类别。第二是合并操作，对应着减少聚类中心数，即当属于某个类别的样本数过少时，把该类别去除。假设已经选取了n个初始聚类中心，则在选择n+1个聚类中心时，距离当前n个聚类中心越远的点会有更好的概率被选择为第n+1类聚类的中心。聚类中心当然是互相隔离的越远越好，之后的算法步骤同于k-means。数据预处理，如归一化、离散点处理即可。

通过增加输入门限，遗忘门限和输出门限，使得自循环的权重是变化的，这样一来在模型参数固定的情况下，不同时刻的积分尺度可以动态改变，从而避免了梯度消失或者梯度膨胀的问题。传统的神经网络层数一多，就会有梯度消逝和爆炸的现象，因为导数的链式法则导致了连乘的形式。造成梯度指数级的消失，lstm使用CEC(constant error carousel)机制，使得远处的梯度传到近处没有改变、但这样又会造成输入输出权重矛盾，所以又使用了门限单元来解决。LSTM的三个门的作用：输入门决定何时让输入进入细胞单元；

模型：选取合适的模型(如分类的模型就有SVM、XGB、RF等等)；在模型中使用正则化、舍弃、批量归一化等方法降低过拟合。对于机器学习模型，从数据、模型、损失函数、优化方法、训练方法、集成学习角度出发。对于优化模型，可以采用优化算法，如粒子群、遗传、布谷鸟、模拟退火等优化算法。集成：多模型集成，包括Boosting和Bagging方法。优化方法：不同的优化器、学习率调整、对抗训练。数据：数据预处理、数据增广。损失函数：不同的损失函数。

阳性（正）样例P和阴性（负）样例N，将正样本预测为正样本的为True positive（TP），正样本预测为负样本的为False negativ（FN），负样本预测为正样本的为False positive（FP），负样本预测为负样本的为True negative（TN）。反映分类器或者模型正确预测正样本纯度的能力，减少将负样本预测为正样本，即负样本被预测为正样本占总的负样本的比例。反映分类器或者模型正确预测负样本全度的能力，增加将负样本预测为负样本，即负样本被预测为负样本占总的负样本的比例。

逻辑回归 = 线性回归+sigmoid函数

特征构造需要不断结合具体业务情况做出合理分析，才能有根据性的构造出有用的新特征。

正则化 ，正则化正是通过在损失函数上添加额外的参数稀疏性惩罚项（正则项），来限制网络的稀疏性，以此约束网络的实际容量，从而防止模型出现过拟合。L1正则化是将权值的绝对值之和加入损失函数，使得权值中0值比重增大，因此得到的权值较为稀疏。L2正则化是将权重的平方之和加入损失函数，使得权值分布更加平均，所以权值较为平滑。Dropout舍弃，在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃，使得每次训练的网络结构多样。（1）判断：训练集误差和验证集误差，从而判断算法达到什么效果。..

朴素贝叶斯分类算法：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。

不同的数据集可能采取不同的实体标注方法，常见的标注方法又IOB、BIOES、Markup。7小类：人名、地名、组织机构名、时间、日期、货币量、百分数。通常是先进行实体识别、然后识别单个实体、最后再识别复合实体。其中IOB标注法，I表示内部，O表示外部，B表示开始。命名实体一般有两种划分：3大类和7小类。三大类：实体类、时间类、数字类。...

机器学习中聚类算法中的距离度量有哪些，包括欧式距离、曼哈顿距离、切比雪夫距离、闵可夫斯基距离、汉明距离、马氏距离、相关距离、加权的汉明距离、余弦相似度、Jaccard相似度、皮尔逊相似度、修正的余弦相似度...

第一步计算每个样本点是否属于每个簇心是计算期望的一步，这个可以看作是每个样本点属于各个类的概率，类似于One-hot编码的过程，再计算误差函数J，就是计算所有样本点误差期望之和。这其实就是k-means算法中的EM算法第二步就是对求得的期望求最值。那么在k-means算法中，第二步对J求导等于0，其实就是在求最值，这也正好对应EM的第二步。k-means第一步是给每个数据点分类，分类方法采用最近邻原则；第二步根据分类的结果,将中心点重新计算,计算方式为类中所有点的中心点。...

EM的求解原理：在求解一个含有隐变量的概率模型时,目标是极大化观测数据关于参数的对数似然,而其中极大化的主要困难是还有未观测数据并有包含和的对数。然后再依据上一步估计出的参数值估计缺失数据的值，再根据估计出的缺失数据加上之前己经观测到的数据重新再对参数值进行估计，然后反复迭代，直至最后收敛，迭代结束。高斯混合模型（GMM）、k-means聚类、隐式马尔科夫算法（HMM）、LDA主题模型的变分推断。由于求和的项数随着隐变量的数目指数上升,会给梯度计算带来麻烦.EM算法是一种非梯度化优化算法....

一般而言训练误差很低，但是测试误差较高，过拟合的概率较大，如果训练误差和测试误差都很高，一般是欠拟合。一些假设条件（如样本独立同分布）可能是不成立的；训练样本过少不能对整个空间进行分布估计。早停止，如在训练中多次迭代后发现模型性能没有显著提高就停止训练。...

根据特征选择的形式，可分为三大类：

对偶一般来说是以一对一的方式，常常通过某个对合算子，把一种概念、公理或数学结构转化为另一种概念、公理或数学结构：如果A的对偶是B，那么B的对偶是A。所以，对偶问题外层的优化目标参数是拉格朗日参数，然后通过求得的拉格朗日参数，间接得到最终要求的超平面的参数 x。原始最大间隔最优化问题，先转为拉格朗日函数问题，再将拉格朗日函数转为求其对偶问题，即将朗格朗日优化问题中的 min(max) 求解顺序对调，变为max(min)。（2）SVM中的对偶算法。原朗格朗日最优化目标函数。......

1）随机森林采用的bagging思想，而GBDT采用的boosting思想。这两种方法都是Bootstrap思想的应用，Bootstrap是一种有放回的抽样方法思想。虽然都是有放回的抽样，但二者的区别在于：随机森林是通过减少模型方差提高性能；Bagging的训练集的选择是随机的，各训练集之间相互独立，弱分类器可并行，而Boosting的训练集的选择与前一轮的学习结果有关，是串行的。（2）组成随机森林的树可以是分类树，也可以是回归树；（3）组成随机森林的树可以并行生成；而GBDT只能是串行生成。...

1）凸函数(Convex function)和非凸函数(Convave function)通常把函数分为凸函数和非凸函数。凸函数的几何意义在于，定义域中任意两点连线组成的线段都在这两点的函数曲线（面）上方。如图所示。凸函数是有且只有全局最优解的，而非凸函数可能有多个局部最优解。...

逻辑回归：逻辑回归的决策边界总是一条直线（或者一个平面，在更高维度上是超平面），逻辑回归方法得到的决策边界总是线性的，并不能得到这里需要的环状边界。因此，逻辑回归适用于处理接近线性可分的分类问题。先提升特征的维度，在高纬度用一个平面来分割数据（线性分类器），这个平面映射回原来的二维特征空间，就能得到一个环状的决策边界。决策树：决策树是按照层次结构的规则生成的，决策规则只是用平行于轴线的直线将特征空间切分，如果边界是非线性的，并且能通过不断将特征空间切分为矩形来模拟，那么决策树是比逻辑回归更好的选择。...

冗余属性不会对决策树的准确率造成不利的影响。在两个冗余的属性中，如果已经选择其中一个作为用于划分的属性，则另一个将被忽略。假设两个属性完全一样，那么当其中一个被选中作为划分属性时，那么划分过后的子女结点中包含的另一个属性应该是完全一样的。LR的损失函数是对数损失函数（Log loss），逻辑回归假设样本服从伯努利分布（0-1分布），然后求得满足该分布的似然函数，接着取对数求极值，最小化负的似然函数（即。，则逻辑回归的公式就是，将是将线性回归的z输入到Sigmoid函数中，得到逻辑回归的输出即。...

把缺失的样本，按照无缺失的样本被划分的子集样本个数的相对比率，分配到各个子集上去，至于那 些缺失样本分到子集1，哪些样本分配到子集2，这个没有一定准则，可以随机而动。（3）计算信息增益率时根据缺失率的大小对信息增益率进行打折，例如计算属性A的信息增益率，若属性 A的缺失率为0.9，则将信息增益率乘以0.9作为最终的信息增益率。（2）把待分类的样本的属性A分配一个最常出现的值，然后进行分支预测。（3）把缺失的样本分配给所有的子集，也就是每个子集都有缺失的样本。（1）如果有单独的缺失值分支，依据此分支。...

决策树是一个非常常见并且优秀的机器学习算法，它易于理解、可解释性强，其可作为分类算法，也可用于回归模型。本文将分三篇介绍决策树，根据不同分裂准则分为不同决策树，包括ID3、C4.5、CART。...

包含了信息熵、条件熵、信息增益、基尼指数、随机森林、AdaBoost、GBDT、XGBoost的概念及相关理论

回归树(Regression Tree)，就是用树模型做回归问题，每片叶子都输出一个预测值。预测值一般时叶子节点所含训练集元素输出的均值。（除了使用均值可以作为预测值，也可以使用其他方法，例如线性回归）举例理解，以下是一个打高尔夫球的时间表。根据天气、适度、温度、风来预测打高尔夫的时间长短。右边的回归树叶子节点值，就是取样本数的均值。......

主成分分析(Principalcomponetanalysis,PCA)是一种无监督学习方法，利用正交变换把线性相关变量表示的观测数据转换为几个由线性无关变量表示的数据，线性无关的变量成为主成分。主成分的个数通常小于原始变量的个数，属于降维方法。根据分解协方差矩阵的策略，分为两种PCA方法，第一种是基于特征值分解协方差矩阵实现PCA算法，第二种是基于奇异值分解法(SVD)分解协方差矩阵实现PCA算法。......