机器学习笔记--周志华版
文章平均质量分 95
菜鸟自娱自乐的输出而已,众乐乐。
袁大墩子
这个作者很懒,什么都没留下…
展开
-
二、SVM----SMO求解
SMO概念通过将原始问题转化成其对偶问题,再使用核函数,引入软间隔概念我们可以得到如下的凸二次规划问题: ...转载 2020-01-03 17:16:44 · 544 阅读 · 0 评论 -
二、SVM----核函数的理解
非线性映射:在之前的讨论中,我们都假定训练样本是线性可分的,即存在一个划分超平面将训练样本正确分类。然而现实生活中也许并不存在一个能够正确划分两类样本的超平面,如下右图异或问题。 对于第二张图这种我们无法在低维空间线性可分的问题,我们可以将其从原始空间映射到一个更高维的特征空间(feature space)中,使得样本在这个...原创 2019-12-20 18:00:13 · 2051 阅读 · 0 评论 -
二、SVM----理论推导&对偶问题、KKT条件
之所以在线性回归之后写SVM,是因为LogisticRegression可以认为是通过单调可微函数----Sigmod函数将回归问题引申为分类问题;而SVM则可以看做使用线性回归模型以及到所确定的超平面间的距离来进行分类任务。表达得不一定清晰,还是看下面的内容吧。目录理论推导:对偶问题:先写出原始问题拉格朗日乘子法:什么是对偶问题呢?先定义原始问题的拉格朗日“对偶函数”...原创 2019-12-17 20:53:34 · 2194 阅读 · 0 评论 -
一、线性模型----Lasso、Ridge回归及正则化的初步理解
一些基本概念正则性:正则性一般用来刻画函数的光滑程度,正则性越高,函数的光滑性越好。通常用Lipschitz指数k来表征函数的正则性。Lipschitz指数刻画了函数f与局部多项式的逼近程度,而函数与局部多项式的逼近程度又与函数的可微性相联系。向量范数:距离的定义是一个宽泛的概念,只要满足非负、自反、三角不等式就可以称之为距离。范数是一种强化的距离概念,它在定义上比距离多了一条数乘...原创 2019-12-15 15:58:25 · 2077 阅读 · 1 评论 -
一、线性模型----线性回归LinearRegression、逻辑回归LogisticRegression(代码篇)
写在最前:机器学习中的代码学习相对于理论来说更容易一些,代码只是将数学的公式进行编辑并快速运算。公式全都封装成了API,只要在Python中去调用函数就能实现简单的功能(调包侠哈哈哈)。sklearn是Python最常用的机器学习包。https://sklearn.apachecn.org/这是中文网站,大家最主要还是根据官方的手册学习。而随着学习门槛越来越低,只有增加对代码背后数学的理解...原创 2019-12-12 19:53:42 · 1595 阅读 · 0 评论 -
一、线性模型----线性回归LinearRegression、逻辑回归LogisticRegression(理论篇)
基本理论线性回归LinearRegression 基本形式: 其中:....原创 2019-12-12 11:32:51 · 445 阅读 · 0 评论