![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 91
hello_gogogo
日志过的很快,要留下点什么
展开
-
python代码实现SVM
代码过程: 外循环1、进行第一次迭代,遍历所有的 α\alpha 值。 对每个α\alpha 判断是否违反KKTKKT 条件,是的话,当作第一个αi\alpha_i, 遍历所有样本点,求得|Ei−Ek|| E_i - E_k| 的最大值,该最大值既是寻找的第二个αi\alpha_i。2、从第二次迭代,遍历满足0<αi<C0<\alpha_i<C 的样本点。3、当不存在满足0<αi<C0<\alp原创 2017-10-06 22:57:12 · 2381 阅读 · 0 评论 -
SVM简介
一、支持向量机(SVM)定义:1、线性可分支持向量机:给定线性可分的训练数据集,通过(硬)间隔最大化或者等价的求解相应的凸二次规划问题学习得到的分离超平面为:w∗x+b=0w*x+b = 0 以及相应的分类决策函数: f(x)=sign(w∗x)+bf(x) = sign(w*x) + b 。2、线性支持向量机给定线性不可分的训练数据集,通过软件间隔最大化或者等价的求解相应的凸二次规划问题学习得到原创 2017-10-06 12:25:49 · 11658 阅读 · 0 评论 -
线性回归简介及python代码实现
线性回归的模型:h(x)=θ0+θ1∗x1+θ2∗x2h(x) = \theta_0 + \theta_1*x_1 + \theta_2*x_2, h(x)=∑ni=0θixi=θTXh(x) = \sum_{i=0}^n\theta_ix_i = \theta^TX , 这里x0=1x_0 = 1。代价函数为:J(θ)=12(y−h(x))2J(\theta) = \frac{1}{2} (y原创 2017-09-30 18:07:07 · 1328 阅读 · 0 评论 -
SoftMax回归简介及python代码实现
1、SoftMax回归概率分布模型:对于K分类,第 k 类的参数为θK\theta_K, 组成二维矩阵θk×(n+1)\theta_{k\times(n+1)},KK 是总共的类别数目,nn 是特征数目。 P(c=k|x;θ)=θTkx∑l=1Kexp(θTkx)P(c=k|x;\theta) = \frac{\theta_k^Tx}{\sum\limits_{l=1}^Kexp(\theta_k原创 2017-10-02 18:15:41 · 2293 阅读 · 1 评论 -
Logistic回归简介及python代码实现
1、Sigmoid 函数:hθ(x)=g(θTx)=11+e−θTxh_\theta(x) = g(\theta^Tx) = \frac{1}{1+e^{-\theta^Tx}}设 g(z)=11+exp(−z)g(z) = \frac{1}{1 + exp(-z)}g′(z)=(11+exp(−z))′=exp(−z)(1+exp(−z))2=11+exp(−z)∗(exp(−z)1+exp(−原创 2017-10-01 18:36:23 · 1929 阅读 · 1 评论 -
感知机简介及python代码简介
感知机(Perceptron)(Perceptron) 是二分类的线性分类模型;感知机学习旨在求出将训练数据进行线性划分的分离超平面。1、感知机模型:f(x)=sign(θ∗x+b)f(x) = sign(\theta*x+b), 其中, sign(z)={+1−1z >= 0z<0sign(z) = \begin{cases}+1& \text{z >= 0} \\-1& \text{原创 2017-10-03 20:40:13 · 646 阅读 · 0 评论 -
CART之回归树python代码实现
一、CART ( Classification And Regression Tree) 分类回归树 1、基尼指数:在分类问题中,假设有KKK 个类,样本点属于第kkk 类的概率为PkPkP_k ,则概率分布的基尼指数定义为: Gini(P)=∑k=1KPk(1−Pk)=1−∑k=1KP2kGini(P)=∑k=1KPk(1−Pk)=1−∑k=1KPk2Gini(P) = \sum\li...原创 2017-10-31 21:23:13 · 6231 阅读 · 9 评论 -
分类决策树简介及ID3算法实现
一、定义: 分类决策树模型是一种对实例进行分类的树形结构。决策树由结点(node) 和有向边(directed edge)组成。结点分为内部结点(internal node)和叶结点(leaf node)。内部结点表示一个特征或属性;叶结点表示一个类。二、重要概念:1、熵 (Entropy):表示随机变量不确定性的度量。熵越大,随机变量的不确定性就越大。设: XX 是取有限值的离散随机变量,其概率原创 2017-10-17 00:24:26 · 3619 阅读 · 0 评论