雾隐雾现的至渝博客

背景        想着用个快点的效果也还算好点的算法来评估一种特征组合，所以做了一简单的测试。代码import numpy as npimport pandas as pdfrom sklearn.model_selection import train_test_splitclass ELM(): # 输入数据集X、标签Y、隐含层神经元个数m、控制参数L def __init__(self, X, Y, m,

思想          思想很简单，就是假设你要从一个超维空间（维度=Dim）采样N个样本，那么拉丁超立方采样就是这样做的。分别在每个维度采样N个值（你可以理解成把单维度（一条线）分成N份，在每个范围都随机取一个值出来），完成这一步我们就有D个N维的值（每个维度有一个），然后随机组合（在每个维度随机拿一个，就组成了一个N维空间的点），那么总的就能有N个点了     

          相较于前一篇KPCA,PCA要更好理解一些，不科普PCA的理论，理论可以看看主成分分析法的步骤，用 “人话” 来讲述，摆脱枯燥抽象的数学语言import pandas as pdimport numpy as npdf = pd.read_csv('wine.data', header=None)X, y = df.values[:, 1:], df.values[:, 0]# step 1

请先看这篇 核化线性降维（KPCA）的理解KPCA步骤解释         计算样本间距离 dist利用某个核函数计算映射到高维后的距离矩阵K对K进行去中心化对k进行特征值分解选择前k个特征对应的特征向量就是最后降维的结果代码import matplotlib.pyplot as pltimport numpy as npfrom scipy.spatial.distance import pdist, sq

  　  原文地址 状态转移算法  　 1 相关资源：  　  2020年发表在自动化学报的论文《状态转移算法原理及应用》，对状态转移算法作了广泛而深入的介绍：https://kns.cnki.net/kcms/detail/detail.aspxdbcode=CJFD&dbname=CJFDAUTO&filename=MOTO202011002&v=JCreBvAGjWhrT3giHVgvnnUsFc9

问题背景          我有时会搞混，所以写一篇博客来记录下自己的理解KNN分类算法监督学习，数据集是带Label的数据没有明显的训练过程，就是费事儿，每次都要遍历所有已有的样本点去计算距离K值含义 ：对于一个样本X，要给它分类，首先从数据集中，在X附近找离它最近的K个数据点，将X划分为K个数据点中类别最多的一类K-means聚类算法非监督学习，数据集是无Label，杂乱无章的数据有明显的

          pdf版本下载见链接：https://pan.baidu.com/s/1nR6kOIDtSUwqVkXpDVIFOw提取码：qshn          花了我好久的时间才推导出来，我觉得我写的还蛮容易懂的，每一步都有解释，如果你也学习支持向量机的话，应该会有点启发。        &

如题结果图如下可运行代码import numpy as npimport matplotlib.pyplot as pltfrom matplotlib.animation import FuncAnimationclass KMeans(object): def __init__(self, data): # data: 要分类的数据，二维数组，每一行是一个样本，列数为样本特征数 self.data = data self.calc_classe

        在介绍信息增益、信息增益率、基尼指数的时候都只是说了离散特征的处理，公式也是只针对离散特征，那么连续特征怎么办呢？        信息增益                      信息增益率&n

数学定义        D0{{D}_{0}}D0​和D1{{D}_{1}}D1​是n维欧氏空间中的两个点集。如果存在n维向量w和标量 b，使得所有属于D0{{D}_{0}}D0​的点xi{{x}_{i}}xi​都有wxi+b>0w{{x}_{i}}+b>0wxi​+b>0，而对于所有属于D1{{D}_{1}}D1​的点xj{{x}_{j}}xj​则有wxj+b<0w{{x}_{j}}+b<0wxj​+b<0，则我们称D0{{D}

给一个无水印的图      实在找不到Visio图的原文件了，应该要改一下的 我就文字说明一下（等我有空翻一下电脑，有的话我补上）      V ={v1,v2,…vd} => 是 W1            输入层到隐含层权重      W ={w1,w2,…wq} => 是 W2 &nbsp

MOP系列MOP1:                                            &nbsp

随手记录下 12 个无约束 benchmark 函数                   （1）Spherical函数                &nb

        都在说加正则化项能防止过拟合，可是为什么它可以防止过拟合呢呢        说这个东西之前我们先讲一下什么是 L2 范数，以及什么是过拟合L2范数        L2范数是指向量各元素的平方和然后求平方根。我们让L2范数的规则项||W||2最小，一方

哔哩哔哩视频地址 https://www.bilibili.com/video/BV1s54y1U7sG线性模型 Python 实现import numpy as npfrom sklearn import linear_modelclass LinearRegression: def __init__(self): self.w = None # 要训练的参数 self.n_features = None # 特征的个数 def fit(s

哔哩哔哩视频地址 https://www.bilibili.com/video/BV1Ap4y1i73i局部线性回归 python 实现import numpy as npimport matplotlib.pyplot as plt"""implementation of Locally weighted linear regression in http://cs229.stanford.edu/notes/cs229-notes1.pdf"""# 局部线性回归 思想：预测一个点的值时

首先，流形学习解决的也是数据分布非线性的情况，而且要求数据的分布是流形，至于什么是流形呢，可以展开成一个平面的形体就是流形，具体定义可以看 维基百科 和 百度百科其实非流形不常见，想举个例子还不好找，找了很久有个例子说的是 两个正方体共一条棱 这样的形体就是非流形，因为你不能把他展开成一个平面讲上面的意思呢是说，非流形不常见，我们处理数据分布是非线性的情况，基本都可以把他看成是流形流形学习有哪些新颖的点呢？答：其实就只是在多维缩放（MDS）的基础上改了两个样本的距离度量，MDS用的是欧式距离，流形学

1、为什么要提出核化线性降维（KPCA）？答：PCA只能解决数据分布是线性的情况（数据大致分布在一个超平面附近），对于数据分布情况是非线性的有心无力可以看到，假如数据分布是图（a）的样子，利用PCA得到的图（c）就是杂乱无章的，与他本真的结构差别比较大。为了解决这个问题，提出了KPCA2、KPCA的思想是什么？答：你不是说数据分布不再是线性的了吗，那我就想到了，当初支持向量机也是遇到过这个问题，他是怎么解决的呢？他把数据映射到高维空间去，在高维空间这些数据就是线性的了。好的，那我也有想法，PCA

师兄博客原文地址 https://blog.csdn.net/LogHouse/article/details/97523458从零开始的机器学习9-集成学习一些问题1．谈谈集成学习的概念和思想。2．集成学习方法可以分为哪几类，并且分别阐述它们的特点。3．在集成学习中，阐述针对二分类问题的AdaBoost算法实现过程。思考AdaBoost算法在每一轮如何改变训练数据的权值或概率分布?4．随机森林与集成学习之间有什么样的关系？python实现基于单层决策树的AdaBoost算法。智能控制与优化决策课题组制

师兄博客原文地址 https://blog.csdn.net/LogHouse/article/details/97376419从零开始的机器学习8-贝叶斯分类器一些问题编程实现朴素贝叶斯载入西瓜数据集贝叶斯分类统计不同类的先验概率统计每个特征的条件概率计算后验概率计算测试样本(结果)最可能的类别(原因)主函数智能控制与优化决策课题组制作。对应周志华《机器学习》第七章内容。一些问题1、解释先验概率、后验概率、全概率公式、条件概率公式，结合实例说明贝叶斯公式，如何理解贝叶斯定理？①先验概率：

师兄博客原文地址 https://blog.csdn.net/LogHouse/article/details/96434429从零开始的机器学习6-强化学习一些问题智能控制与优化决策课题组制作。对应周志华《机器学习》第十六章内容。一些问题1、分析强化学习与监督学习的联系与差别。监督学习就是有导师学习，所学习的样例是有标签的。强化学习是无导师学习。但实际上，强化学习有一位隐形的导师，这个导师会告诉你所获得的奖赏，这些奖赏其实也是一种标签，不过这种标签需要通过学习得到。2、ε\vareps

师兄博客原文地址 https://blog.csdn.net/LogHouse/article/details/94299840从零开始的机器学习4-支持向量机一些问题LSSVM的Python实现模型训练核函数模型使用关于γ\gammaγ和σ\sigmaσ交叉验证整体框架主要内容对应周志华西瓜书第六章。一些问题1、试计算样本空间中的任意样本点 到超平面(w,b\bm{w}, bw,b)的距离。设样本空间中的某样本点为x=(x1,x2,...,xn)，n\bm{x}=(x_1, x_2,...,

师兄博客原文地址 https://blog.csdn.net/LogHouse/article/details/93222454 ，这篇感觉他还没写完。有时间我补一下从零开始的机器学习3-神经网络一些问题一些Python实现BP神经网络对应周志华西瓜书第五章。一些问题1、试述常见的激活函数，试述将线性函数用作神经元激活函数的缺陷。①阶跃函数;②Sigmoid函数:σ(x)=11+e−x,\sigma(x)=\frac{1}{1+e^{-x}},σ(x)=1+e−x1​,优点: -----

师兄博客原文地址 https://blog.csdn.net/LogHouse/article/details/92405509从零开始的机器学习2-决策树一些问题对应西瓜书第4章内容。一些问题1、决策树学习算法包括哪几个部分？常用的算法有哪些？决策树算法过程主要包括：①划分选择；②树的生成;③剪枝处理。常用方法：ID3，C4.5，CART。2、 决策树的根节点、内部节点和叶节点分别表示什么？一般来说，一颗决策树结构包含：①一个根节点：对应属性测试；②若干内部节点：对应属性测试；

师兄博客原文地址 https://blog.csdn.net/LogHouse/article/details/90734048从零开始的机器学习1-线性模型及多分类线性模型及多分类一些问题梳理广义线性回归对数几率极大似然推导线性模型及多分类  承接上一篇，线性模型的部分内容已经讲过了，这篇主要讲剩下的内容，对应周志华《机器学习》第三章的大部分。一些问题1、最小二乘的原则是什么？写出多元线性回归的参数估计（写出推导过程）。最小二乘法指基于均方误差最小化来进行模型求解的方法，故最小二乘的原则

师兄的博客，毕业了他没维护了，我转过来从零开始的机器学习0-基础知识及线性回归基础知识至线性回归一些问题与概念线性回归的Python实现及测试线性回归线性回归模型损失函数最速下降法数据预处理（numpy）读取文件numpy中的矩阵调整ndarray中的数据类型转化标准化矩阵调用基础知识至线性回归  从头学习周志华版的机器学习，同时准备使用Python实现一些相关的方法，以及一些小的项目。因为Python是新手，也准备借这次机会熟悉并掌握，代码方面有一些笨拙，希望慢慢改进、进步。一些问题与概念1、

文章目录1.什么是特征工程？2.数据预处理2.1无量纲2.1.1标准化2.1.2间隔缩放方法2.1.3标准化与规范化之间的区别2.2二进制定量特征2.3对于定性特征，哑编码2.4遗漏值计算2.5数据转换3.功能选择3.1过滤器3.1.1方差选择方法3.1.2相关系数法3.1.3卡方检验3.1.4相互信息法3.2包装器3.2.1递归特征消除3.3嵌入式3.3.1基于惩罚的功能选择3.3.2基于树模型的特征选择4.降维4.1主成分分析（PCA）4.2线性判别分析（LDA）1.什么是特征工程？ &n

决策树大概定义决策树：是一个树结构（可以是二叉树或非二叉树）。其每个非叶节点表示一个特征属性上的测试，每个分支代表这个特征属性在某个值域上的输出，而每个叶节点存放一个类别。 特征：就是树里面的非叶节点 结果：就是树里面的叶节点 信息增益 信息增益比，基尼比，用来衡量利用某个属性来划分后的集合纯度（不确定性） XX算法：用来生成决策树的自己理解的决策树 我理解的是利用某个属性划分样本集，使得划分后的子样本集合里面某一类的个数等于（接近）于子样本集合的总元素个

        看了很多主成分分析的的解释，都太理论了，完全get不到点，我又不是搞数学的。看不懂看不懂。        打算写一下主成分分析的步骤帮助我理解这个方法，至于里面为什么要用到方差，协方差这个东西，你需要去看看相关的文献说明，比如要解释为什么协方差矩阵的特征值最大的前 k 个特征向量就是k维理想特征，我看到的有三个理论：分别是最大方差理

        线性模型：想学一个预测模型（其实就是一个函数或者你叫一个映射），这么模型（函数）说白了就是属性之间的线性叠加。其形式大致如下：        xi代表对象的第i个属性，wi代表第i个属性的权重，b是所谓的偏置。这儿要解释一下，如果我们的xi都归一化到[0, 1]之间的话，那么b就是所有属性都取0的时候我们对象的取值（这个一般无实际

写公式和首行缩进太麻烦了，我直接从写的word文档截图，勿怪

向量的范数见 向量的范数矩阵的1-范数：列元素绝对值之和最大矩阵的2-范数即：矩阵 的最大特征值开平方根矩阵的无穷范数：行绝对值之和最大还有一种是把矩阵拉伸成向量，然后再对向量求范数。在论文里面大家用的模棱两可的，具体文章还要具体来看。此处引用知乎上大佬的解答大佬： 矩阵有两种范数的定义，一种是矩阵范数，用来衡量矩阵作为变换时对向量拉扯、形变的能力，p-norm 定义为 ||A||p...

L0范数 表示向量中非零元素的个数L1范数 表示向量x中非零元素的绝对值之和。L1范数有很多的名字，例如我们熟悉的曼哈顿距离、最小绝对误差等。使用L1范数可以度量两个向量间的差异，如绝对误差和（Sum of Absolute Difference）：一个例子，如下展示了两个二维向量（x1、x2）的L1范数。L2范数 表示向量元素的平方和再开平方,我们用的最多的度量距离欧氏距离就是一种...

手写的，勿怪.