- 博客(11)
- 收藏
- 关注
RSS订阅原创 机器学习从0到1——9 支持向量机算法原理与代码实现
SMO算法的基本思路是：如果所有的变量的解都满足此最优问题的KKT条件，那么这个最优问题的解就得到了，因为KKT条件是该最优化问题有解的充要条件。那么，我们可以每次选择两个变量进行优化，固定其它变量，针对这两个变量构建一个二次规划问题，这个二次规划的问题关于这两个变量的解应该更接近原始二次规划问题的解，因为这会使得原始二次规划问题的目标函数值变小。超平面是在更高维空间的推广。第一种情况对应的是自由变量（即非支持向量），第二种情况对应的是支持向量，可以据此计算出b的值，第三种对应的是违反不等式约束的样本。
2024-06-24 22:58:19
788
原创 机器学习从0到1——8. 逻辑回归原理与代码实现
与梯度下降法相比，牛顿法有更快的收敛速度，但每一步迭代的成本也更高，在每次迭代时，除了要计算梯度向量之外还要计算Hessian矩阵以及Hessian矩阵的逆矩阵，所以当参数量很大的时候不适合使用牛顿法进行求解。逻辑回归（logistic regression）即对数概率回归，也是一种线性模型，它的名字虽然叫“回归”，但却是一种用于二分类问题的算法，它用sigmoid函数估计出样本属于正样本的概率。sigmoid函数（logistic函数）是一种典型的激活函数，我们在学习深度学习的时候会用到各种激活函数。
2024-06-11 13:33:16
813
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人