ML
文章平均质量分 90
二胖_pro
这个作者很懒,什么都没留下…
展开
-
多分类问题中sklearn的RFECV指定scoring函数
先亮代码from sklearn.feature_selection import RFECVimport pandas as pdfrom sklearn.model_selection import StratifiedKFoldfrom sklearn.svm import SVCfrom sklearn.metrics import *from sklearn.multiclass import OneVsRestClassifier# 加载数据部分data = pd.read_c原创 2020-07-25 11:29:59 · 5302 阅读 · 4 评论 -
L1正则化和L2正则化
正则化正则化可理解为一种“罚函数法”,即对不希望得到的结果施加惩罚,从而使得优化过程趋向于希望目标从贝叶斯估计的角度来看,正则化项可认为是提供了模型的先验概率B站视频讲解链接为什么加正则化项可以防止过拟合?从数学的角度来说,加正则化项就相当于加约束条件,加了约束条件使很多的参数分量wi=0w_i=0wi=0(特征选择)从而降低模型复杂度,也就防止因为参数过多导致的过拟合现象机...原创 2020-05-06 15:44:59 · 494 阅读 · 0 评论 -
拉格朗日对偶性
拉格朗日对偶性是我们在约束最优化问题中用来将原始问题i转换为对偶问题,通过解对偶问题而得到原始问题的解原创 2020-05-06 12:21:18 · 148 阅读 · 0 评论 -
支持向量机学习笔记
支持向量机线性可分支持向量机间隔最大化:硬间隔最大化以充分大的确信度对训练数据进行分类泛化能力强,对新实例有很好的预测性支持向量机学习的最优化问题(写成平方形式,平滑,易于优化)最大间隔分离超平面的存在唯一性证明超平面的存在性和唯一性(唯一性就是仅有一组最优解w∗,b∗w^*,b^*w∗,b∗)求解最优化线性可分支持向量机的对偶算法优点:对偶问题往往更容易求解,自然引入核...原创 2020-05-05 21:10:51 · 537 阅读 · 0 评论 -
求最大间隔分离超平面如何转化为了一个凸二次优化的问题?
考虑如何求得一个几何间隔最大的分离超平面(函数间隔也是一样的),即最大间隔分离超平面,那么可以表示为下面的约束最优化问题:maxw,b γs.t.yi(w∣∣w∣∣⋅xi+b∣∣w∣∣)≥γ,i=1,2,...,N\mathop{max}\limits_{w,b}\space\gamma\\s.t.\quad y_i\left({w\over||w||}\cdot x_i+{b\o...原创 2020-05-05 16:07:17 · 1014 阅读 · 0 评论 -
凸优化问题
凸优化问题是指约束优化问题:minwf(w)s.t.gi(w)≤0i=1,2,...,khi(w)=0i=1,2,...,l\mathop{min}\limits_{w}f(w)\\s.t.\quad g_i(w)\leq0\quad i=1,2,...,k\\h_i(w)=0\quad i=1,2,...,lwminf(w)s.t.gi(w)≤0i=1,2,...,khi(w)=...原创 2020-05-05 16:04:15 · 306 阅读 · 0 评论 -
机器学习:仿射函数
定义:f(x)f(x)f(x)称为仿射函数,如果它满足 f(x)=a⋅x+b,a∈Rn,b∈R,x∈Rnf(x) =a\cdot x+b, a\in\mathbf R^n,b\in\mathbf R,x\in\mathbf R^nf(x)=a⋅x+b,a∈Rn,b∈R,x∈Rn举个例子:如果xxx是一个点,那么f(x)f(x)f(x)是一条线如果xxx是一条线,那么f(x)f(x)f(x...原创 2020-05-05 15:34:13 · 1090 阅读 · 0 评论 -
机器学习中的函数间隔和几何间隔
目录一、函数间隔二、几何间隔三、函数间隔和几何间隔的关系一、函数间隔函数间隔一般来说, 一个点距离分离超平面的远近可以表示分类预测的确信程度。在超平面w⋅x+b=0w\cdot x+b=0w⋅x+b=0 确定的情况下,∣w⋅x+b∣|w\cdot x+b|∣w⋅x+b∣能够相对地表示点距离超平面的远近。w⋅x+bw\cdot x+bw⋅x+b 的符号与类标记 yyy 的符号是否一致能够表示...原创 2020-05-05 15:22:42 · 2417 阅读 · 1 评论 -
Hinge损失函数简介
Hinge损失函数函数max(0,1−t)max(0, 1-t)max(0,1−t)被称为hingehingehinge损失函数(如下图所示)。当 t≥1t\geq1t≥1 时,函数等于 000。t<1t<1t<1,导数(斜率)等于-1;t>1t>1t>1,导数(斜率)为0;t=1t=1t=1,函数不可导。但是,在t=0处可以使用任意次导数(即-1到0...原创 2020-05-02 15:15:38 · 3937 阅读 · 0 评论 -
MLP多层感知机的认识
MLP(MultiLayer Perception)使用全连接层(fully connected layer)全连接层的意思就是:只接受向量(vector)作为输入原创 2020-05-01 17:09:16 · 1647 阅读 · 0 评论 -
GRU和LSTM的学习
GRU and LSTM先简单附一下链接,后续再做补充知乎讲解,生动理解LSTM和GRU知乎讲解,人人都能看懂的GRU知乎讲解,人人都能看懂的LSTM原创 2020-04-21 16:08:17 · 216 阅读 · 0 评论 -
AutoML初识
深度学习现在已经深入到了各行各业,然而不论是对工业界还是学术界(academia),从头对特定任务建立一个深度学习模型仍然非常耗费时间和资源,以及需要大佬们的专业经验。为了缓解这种问题,最近越来越多的研究项目关注于自动化机器学习(Automated Machine Learning, AutoML)。原创 2020-04-19 18:44:16 · 258 阅读 · 0 评论