![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习基础
tsstaitixu
yes
展开
-
来捋一捋SVM吧
SVM,go~硬间隔优化目标KKT 条件对偶问题强对偶条件构造对偶问题凸优化问题 硬间隔 优化目标 能将所有样本点正确分类的几何间距最大的超平面。 argmaxw,bγs.t.yi(wT∣∣w∣∣xi+b∣∣w∣∣)≥γ,∀i\mathop{argmax}\limits_{w,b} \gamma \quad s.t.\quad y_i(\frac{w^T}{||w||}x_i+\frac...原创 2020-04-06 22:12:32 · 238 阅读 · 0 评论 -
凸优化
凸优化定义&充要条件 凸优化定义&充要条件 凸优化方法 参考资料: 简明 详述 最小二乘 直接对参数求导=0,求出解析解 优点:没有超参数、快 缺点:如果样本量很大,那么求逆操作复杂度比较高 梯度下降 沿一阶导相反方向更新 牛顿迭代法 牛顿迭代法可以通过迭代逼近f(x)=0的解, 我们使用这个方法来计算导数=0的解。 优点:引入二阶导信息,更快 缺点:Hessian矩阵求逆...原创 2020-03-29 16:36:21 · 139 阅读 · 0 评论 -
机器学习算法
k-means:原创 2020-03-15 18:53:46 · 167 阅读 · 0 评论 -
机器学习理论分析
Scenario 训练场景 由拿到的数据决定 task 任务类型 由想得到的输出决定 method 所选择的function set 只是specialize了Classifacaiton 的具体分类,但是每个senerio 都包含这些task, 每个task 都包含这些method。 ...原创 2020-02-22 20:12:37 · 215 阅读 · 0 评论 -
机器学习
概率分类模型 SVM SVM的目标就是要希望找到距离分割超平面最近的点,让它们距离超平面距离尽可能大,这个距离被称为间隔(margin), 几何间隔原创 2020-02-22 17:48:54 · 105 阅读 · 0 评论 -
深度神经网络
梯度下降 定义 梯度:函数在某一点的梯度是这样一个向量,它的方向与取得最大方向导数的方向一致,而它的模为方向导数的最大值。 说人话! 梯度的方向是函数变化速度最快的方向 BP backpropagation 用来加速gradient decient, 使用链式法则 常用BP 算法 SGD,ADAM… 极值点、驻点、鞍点、拐点 极值点:函数从递增变换到递减,或者从递减变换到递增的点,不一定可导 驻...原创 2020-02-20 16:17:39 · 225 阅读 · 0 评论