![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 87
3points
数据分析小白
展开
-
[机器学习实战]支持向量机III
[机器学习实战]支持向量机IIIPreferenceQuestion & ConclusionPreference支持向量机(SVM)是一个功能强大的机器学习模型,能够执行分类SVC :线性SVM分类(硬间隔、软间隔),非线性SVM分类(核函数:多项式核、高斯RBF核函数)[机器学习]解决支持向量机线性不可分问题——核函数II;回归SVR: SVM回归,控制街道宽度 ε\varepsilonε限制间隔违例。工作原理:[机器学习]支持向量机 IQuestion & Conclu原创 2021-11-29 11:22:46 · 935 阅读 · 0 评论 -
[机器学习]模型评估方法
[机器学习]模型评估方法评估方法留出法交叉验证法留一法自助法评估方法当进行模型选择时,理想方案是对候选模型的泛化误差进行评估,选择泛化误差最小的模型。但我们却无法直接获得泛化误差,而训练误差又由于过拟合现象的存在不适合作为标准。为此,我们课可通过实验测试来对学习器的泛化误差进行评估并进而做出选择。需使用一个“测试集”测试学习器对新样本的判别能力,以测试集上的“测试误差”作为泛化误差的近似。通常假设测试样本也是从样本真实分布中独立同分布采样而得,但注意测试集应该尽可能与训练集互斥。留出法留出法(h原创 2021-11-22 15:39:53 · 2239 阅读 · 0 评论 -
[机器学习实战]训练模型
[机器学习实战]训练模型PreferenceQuestion & ConclusionPreference以线性回归模型为例,以下介绍两种训练模型的方法:闭式方程:直接计算出最适合训练集的模型参数,即使训练集上成本函数最小化的模型参数迭代优化(梯度下降GD):逐渐调整模型参数直至训练集上的成本函数调至最低,最终趋同于第一种方法计算出来的模型参数。梯度下降有几种变体(批量梯度下降、小批量梯度下降、随机梯度下降)梯度下降以学习曲线分辨训练数据是否过拟合;正则化技巧(岭回归、lasso回归)原创 2021-11-18 15:08:02 · 1381 阅读 · 0 评论 -
[机器学习]降维之主成分分析
降维之主成分分析问题引入主成分分析1.最近重构性2.最大可分性求解小结核主成分分析Reference问题引入在高维情形下常出现样本稀疏、距离计算困难等问题,这是所有机器学习方法共同面临的问题,称为维数灾难。为了缓解维数灾难一个重要途径就是“降维”。通过某种数学变换将原始高维属性空间转变为一个低维子空间,在该子空间中样本密度大幅提高,距离计算也变得更加容易。主成分分析主成分分析(Principal Component Analysis)PCA是最常用的一种降维方法。若存在一个超平面能够对所有样本进行原创 2021-11-17 12:44:12 · 853 阅读 · 0 评论 -
[机器学习]集成学习
[机器学习]集成学习集成学习数学验证集成学习的分类BoostingBagging随机森林结合策略集成学习集成学习(ensemble learning):构建并结合多个学习器来完成学习任务。集成学习通过将多个学习器结合,常可获得比单一学习器显著优越的泛化性能。但想获得好的集成,个体学习器应“好而不同”,即准确性、多样性。数学验证考虑二分类问题 y∈{−1,+1}y\in\left \{-1,+1 \right \}y∈{−1,+1} 和真实函数 fff,假设基分类器错误率为 ϵ\epsilonϵ,原创 2021-11-16 12:12:47 · 503 阅读 · 0 评论 -
[机器学习]贝叶斯分类器I
贝叶斯分类器I贝叶斯决策论问题:朴素贝叶斯分类器目标函数求解补充半朴素贝叶斯分类器独依赖估计(ODE)贝叶斯决策论贝叶斯决策论实在概率框架下实施决策得基本方法。对分类任务来说,在所有相关概率都已知得理想情况下,贝叶斯决策论考虑如何基于这些概率和误判损失选择最优得类别标记。问题:假设有NNN种可能得类别标记,即 y={c1,c2,⋯ ,cN}y=\left \{ c_1,c_2,\cdots,c_N \right \}y={c1,c2,⋯,cN},λij\lambda_{ij}λij为将一个原创 2021-11-13 21:54:28 · 577 阅读 · 0 评论 -
[机器学习]解决支持向量机线性不可分问题——核函数II
问题之前在 支持向量机I 中介绍支持向量机通过在样本空间找到一个划分超平面实现将样本分类。但现实任务中,原始样本空间可能不存在一个能正确划分两类样本的超平面。对于这种问题,可将样本从原始空间映射到一个更高维特征空间,使样本在该特征空间线性可分。关键准则: 若原始空间是有限维,即属性数有限,那么一定存在一个高维特征空间使样本可分。目标函数划分超平面模型:f(x)=wTϕ(x)+bf(x)=w^T\phi (x)+bf(x)=wTϕ(x)+b目标函数:minw,b12∥w∥2s.t.yi(wT原创 2021-11-13 18:44:17 · 1614 阅读 · 0 评论 -
[机器学习]支持向量机 I
[机器学习]支持向量机 I问题引入目标函数SMO算法问题引入在训练集D={(x1,y1),(x2,y2),⋯ ,(xm,ym)},yi∈{−1,+1}D=\left \{ (x_1,y_1),(x_2,y_2),\cdots,(x_m,y_m) \right \} ,y_i\in \left \{ -1,+1 \right \}D={(x1,y1),(x2,y2),⋯,(xm,ym)},yi∈{−1,+1}的分类问题中,最基本的思路就是基于训练集在样本空间中找到一个划分超平面,将不同类别的原创 2021-11-13 12:42:51 · 491 阅读 · 0 评论 -
[机器学习]全局最小与局部最小
机器学习中很多任务最终都会转化为优化任务,基于梯度的搜索是使用最广泛的参数寻优方法。梯度法:从某些初始解出发,迭代寻找最优参数值。每次迭代计算误差函数在当前点的梯度,然后根据梯度确定搜索方向:负梯度方向是函数值下降最快的方向,因此梯度下降法就是沿着负梯度方向搜索最优解。若误差函数在当前点梯度为0,则以达到局部最小,参数迭代将停止,显然若误差函数有多个局部最小我们很难保证他就是全局最小。策略:从多个不同的初始点开始搜索,得到可能陷入不同的局部最小,从中选择更接近全局最小的结果。模拟退火(simu原创 2021-11-13 10:15:01 · 1362 阅读 · 0 评论 -
[机器学习]神经网络
神经网络神经元模型感知机与神经网络感知机神经网络功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入神经元模型定义:神经网络是由具有适应性的简单单元组成的广泛并行互连的网络。M-P神经元模型在该模型中,神经元接收到来自n个其原创 2021-11-12 12:40:06 · 404 阅读 · 0 评论 -
[机器学习]梯度下降
[机器学习]——梯度下降梯度下降是一种非常通用的优化算法,能够为大范围问题找到最优解。梯度下降的中心思想就是迭代地调整参数从而使成本函数最小化。基本思想:确定步长:梯度下降的一个重要参数就是每一步的步长,这取决于超参数的学习率。学习率太低,算法需要经过大量迭代才能收敛;学习率太高,可能无法收敛到最优。局部最优与全局最优特征值缩放:应用梯度下降时,需要保证所有特征值的大小比例都差不多,否则收敛时间会很长。以下皆以线性模型为例批量梯度下降线性回归的MSE成本函数:MSE(X,hθ)=1m原创 2021-11-09 09:25:21 · 355 阅读 · 0 评论