最优化理论
十里清风
星光不问赶路人,岁月不负有心人
展开
-
回归和分类损失函数(MSE、MAE、Huber、Exponential、Deviance、Hinge)
指数损失和二项偏差损失给定样本x\boldsymbol xx,类别y∈{−1,+1}y\in\{-1,+1\}y∈{−1,+1},类别另一种表示y′=(y+1)/2∈{0,1}y'=(y+1)/2\in\{0,1\}y′=(y+1)/2∈{0,1}.二项偏差(Binomial Deviance)的类1概率为p(x)=P(y=1∣x)=exp(f(x))exp(−f(x))+exp(f(...原创 2020-05-06 01:48:20 · 6010 阅读 · 2 评论 -
数值优化之方向导数、梯度、牛顿法、SGD、Adagrad、RMSprop、Adam
方向导数、负梯度、SGD、Adagrad、RMSprop、Adam原创 2020-04-29 10:13:47 · 8881 阅读 · 0 评论 -
支持向量机(Support Vector Mechine,SVC)
线性SVM、软间隔SVM、核函数原创 2020-04-28 23:35:27 · 973 阅读 · 0 评论 -
凸集、凸函数与凸规划
凸集、凸函数、凸规划、一阶判别公式、二阶判别公式原创 2018-11-03 11:28:11 · 6725 阅读 · 0 评论 -
约束极值问题之拉格朗日乘子法、KKT条件与对偶理论
等式约束极值、拉格朗日乘子法、不等式约束极值、KT条件原创 2018-11-06 12:48:09 · 5123 阅读 · 0 评论