![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 80
关于机器学习的学习记录
蓝净云
如果年少无为,那就大器晚成吧;实在不行,就做个快乐的废物吧。
展开
-
Blending-Stacking
Blending集成学习方式:(1) 将数据划分为训练集和测试集(test_set),其中训练集需要再次划分为训练集(train_set)和验证集(val_set);(2) 创建第一层的多个模型,这些模型可以使同质的也可以是异质的;(3) 使用train_set训练步骤2中的多个模型,然后用训练好的模型预测val_set和test_set得到val_predict, test_predict1;(4) 创建第二层的模型,使用val_predict作为训练集训练第二层的模型;(5) 使用第二层训练好原创 2021-07-28 21:26:25 · 85 阅读 · 0 评论 -
Boosting
文章目录Adaboost的基本思路GBDT的基本思路AdaBoost与GBDTBoosting与Bagging的区别,以及如何提升模型的精度Adaboost的基本思路对于Boosting方法来说,有两个问题需要给出答案:第一个是每一轮学习应该如何改变数据的概率分布,第二个是如何将各个弱分类器组合起来。对于Adaboost来说,解决上述的两个问题的方式是:1. 提高那些被前一轮分类器错误分类的样本的权重,而降低那些被正确分类的样本的权重。这样一来,那些在上一轮分类器中没有得到正确分类的样本,由于其权重的原创 2021-07-25 10:09:11 · 121 阅读 · 0 评论 -
集成学习Ensemble learning
目录Ensemble learningBagging模型Boosting模型Stacking模型Ensemble learning目的:让机器学习训练效果更好Bagging:训练各个分类器取平均f(x)=1M∑m=1Mfm(x)f(x)=\frac{1}{M}\sum_{m=1}^{M}f_m(x)f(x)=M1m=1∑Mfm(x)Boosting:从弱学习器开始加强,通过加权进行训练Fm=Fm−1+argminh∑i=1nL(yi,Fm−1(xi)+h(xi))F_m=F_{m-1}+arg原创 2021-07-21 12:40:18 · 125 阅读 · 0 评论 -
Support Vector Machine支持向量机
SVM口头禅SVM有三宝:间隔、对偶、核技巧分类{hard−marginSVMsoft−marginSVMkernelSVM \begin{cases} hard-margin\quad SVM \\ soft-margin\quad SVM \\ kernel\quad SVM \end{cases}⎩⎪⎨⎪⎧hard−marginSVMsoft−marginSVMkernelSVMSV原创 2021-07-19 20:51:38 · 85 阅读 · 0 评论 -
Rosenbrock函数
定义在数学最优化中,Rosenbrock函数是一个用来测试最优化算法性能的非凸函数,由Howard Harry Rosenbrock在1960年提出 。也称为Rosenbrock山谷或Rosenbrock香蕉函数,也简称为香蕉函数。Rosenbrock函数的定义如下:f(x,y)=(a−x)2+b(y−x2)e2.f(x,y) = (a-x)^2+b(y-x^2)e^2.f(x,y)=(a−x)2+b(y−x2)e2.Rosenbrock函数的每个等高线大致呈抛物线形,其全域最小值也位在抛物线原创 2021-07-13 18:31:45 · 16845 阅读 · 2 评论 -
约束优化问题
约束优化问题(原问题Primal Problem)原问题(p){目标函数:minf(x),xi∈Rp约束条件:s.t.{mi(x)≤0,i=1,2,...,Mnj(x)=0,j=1,2,...,N原问题(p) \begin{cases} 目标函数 :min f(x), & x_i\in \Bbb{R}^p\\[2ex] 约束条件 :s.t. \begin{cases} \color{red}m_i(x)\leq0, & i=1原创 2021-07-15 21:47:40 · 668 阅读 · 0 评论 -
线性回归-
最小二乘估计数据数据集D={(x1,y1),(x2,y2),...,(xn,yn)},(xi∈Rp,yi∈R,i=1,2,...,N)D=\{(x_1,y_1),(x_2,y_2),...,(x_n,y_n)\} ,(x_i\in R^p,y_i\in R,i=1,2,...,N)D={(x1,y1),(x2,y2),...,(xn,yn)},(xi∈Rp,yi∈R,i=1,2,...,N)样本X(其中xix_ixi为列向量)X=[x1Tx2T...xnT]=[x11x12原创 2021-07-15 21:40:31 · 220 阅读 · 0 评论