机器学习
我本将心向明月5526
这个作者很懒,什么都没留下…
展开
-
K-近邻算法
K-近邻算法K Nearest Neighbor算法又叫KNN算法。如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。距离度量为了度量空间中点的距离,有许多方式,最常见的三种方式就是欧氏距离,曼哈顿距离以及切比雪夫距离。1 欧式距离(Euclidean Distance):欧氏距离是最容易直观理解的距离度量方法,通常KNN算法中使用的是欧式距离。二维平面上点 a(x1,y1)\mathrm{a}\left(\mathrm{x}_{1原创 2020-10-07 16:28:50 · 231 阅读 · 0 评论 -
逻辑回归(Logistic Regression)
逻辑回归逻辑回归是一种有监督的统计学习方法,主要用于对样本进行分类。在线性回归模型中,输出一般是连续的,例如y=f(x)=ax+by=f(x)=a x+by=f(x)=ax+b对于每一个输入的xxx, 都有一个对应的yyy输出。模型的定义域和值域都可以是[−∞,+∞][- \infty,+\infty][−∞,+∞]。但是对于逻辑回归,输入可以是连续的[−∞,+∞][-\infty,+ \infty][−∞,+∞],但输出一般是离散的, 即只有有限多个输出值。例如,其值域可以只有两个值{0,1}原创 2020-08-30 14:28:46 · 488 阅读 · 0 评论 -
损失函数总结
1.损失函数是什么损失函数(loss function)或代价函数(cost function)是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中,损失函数通常作为学习准则与优化问题相联系,即通过最小化损失函数求解和评估模型。2.回归损失函数2.1平方误差损失每个训练样本的平方误差损失(也称为L2L_2L2 LossLossLoss)是实际值和预测值之差的平方:L=(y−f(x))2L=(y-f(x))^{2}L=(y−f(x))2相应的损失函原创 2020-08-22 15:08:39 · 415 阅读 · 0 评论 -
boosting算法整理
AdaboostAdaBoost是英文"Adaptive Boosting"(自适应增强)的缩写。它的自适应在于:前一个基本分类器被错误分类的样本的权值会增大,而正确分类的样本的权值会减小,并再次用来训练下一个基本分类器。同时,在每一轮迭代中,加入一个新的弱分类器,直到达到某个预定的足够小的错误率或达到预先指定的最大迭代次数才确定最终的强分类器。算法流程:初始化训练数据的权值分布D1D_1D1。假设有NNN个训练样本数据,则每一个训练样本最开始时,都被赋予相同的权值:w1=1/Nw_1=1/Nw1原创 2020-08-19 16:25:18 · 411 阅读 · 0 评论 -
集成思想(bagging、boosting、stacking)
集成算法集成算法(Emseble Learning) 是构建多个学习器,然后通过一定策略结合把它们来完成学习任务的,常常可以获得比单一学习显著优越的学习器。集成学习可以分为三大类:用于减少方差的bagging用于减少偏差的boosting用于提升预测结果的stackingbagging全称为bootstrap aggregation(引导聚合)。主要思想简单来说就是训练多个分类器取平均。可以用以下式子表示:f(x)=1/M∑m=1Mfm(x)f(x)=1 / M \sum_{m=1}^{M}原创 2020-08-18 21:56:21 · 1432 阅读 · 0 评论 -
决策树
决策树决策树学习采用的是自顶向下的递归方法,其基本思想是以信息熵为度量构造一颗熵值下降最快的树,到叶子节点处,熵值为0。其具有可读性、分类速度快的优点,是一种有监督学习。决策树的构造决策树的构造过程一般分为3个部分,分别是特征选择、决策树生产和决策树裁剪。1.特征选择:特征选择表示从众多的特征中选择一个特征作为当前节点分裂的标准,如何选择特征有不同的量化评估方法,从而衍生出不同的决策树,如ID3(通过信息增益选择特征)、C4.5(通过信息增益比选择特征)、CART(通过Gini指数选择特征)等。原创 2020-08-15 14:58:37 · 299 阅读 · 0 评论 -
拟合问题分析
欠拟合和过拟合机器学习和深度学习的训练过程中,经常会出现过拟合和欠拟合的现象。如图中左侧,模型过于简单,无法较好的拟合数据,即欠拟合。如图中右侧,模型过于复杂,完全拟合训练数据的特征,导致模型泛化能力差,即过拟合。欠拟合解决方式添加其他特征项,有时候我们模型出现欠拟合的时候是因为特征项不够导致的,可以添加其他特征项来很好地解决。添加多项式特征,优化模型,一般是模型过于简单无法描述样本的特性。减少其它过拟合手段。过拟合解决方式添加正则化项机器学习中几乎都可以看到损失函数后面会添加一个原创 2020-08-14 22:35:49 · 1756 阅读 · 0 评论 -
优化算法(梯度下降,Momentum,RMSprop,Adam)
梯度下降法梯度下降法(gradient descent)是一种常用的一阶(first-order)优化方法,是求解无约束优化问题最简单、最经典的方法之一。步骤如下:1.求解每个待优化参数对目标函数的梯度。∂∂θiJ(θ0,θ1…,θn)\frac{\partial}{\partial \theta_{i}} J\left(\theta_{0}, \theta_{1} \ldots, \theta_{n}\right)∂θi∂J(θ0,θ1…,θn)2.利用学习率与梯度更新参数。θi=θ原创 2020-08-14 13:09:32 · 343 阅读 · 0 评论 -
Kmeans算法
算法描述1.选取KKK个点做为初始聚集的簇心(也可选择非样本点);2.分别计算每个样本点到 KKK个簇核心的距离(这里的距离一般取欧氏距离或余弦距离),找到离该点最近的簇核心,将它归属到对应的簇;3.所有点都归属到簇之后, MMM个点就分为了KKK个簇。之后重新计算每个簇的重心(平均距离中心),将其定为新的“簇核心”;4.反复迭代 2 - 3 步骤,直到达到某个中止条件。注:常用的中止条件有迭代次数、最小平方误差MSEMSEMSE、簇中心点变化率;优势1.简单快速,适合常规数据集劣势1.K原创 2020-08-13 16:40:55 · 437 阅读 · 0 评论