机器学习
wcy_1122
这个作者很懒,什么都没留下…
展开
-
机器学习——感知机算法
感知机算法感知机(perception)是一种二类线性模型,主要用于分类问题。一些定义目标函数: f(x)=sgn(w*x+b) 其中sgn为符号函数 其中向量w为目标函数向量,向量x为样本。向量w={w1,w2…wn},向量x={x1,x2…xn}超平面: w*x+b=0 所构成的平面 向量w为超平面上的法向量。训练集: T=(x1,y1),(x2,y2),(x3,...原创 2018-04-25 01:06:23 · 716 阅读 · 0 评论 -
机器学习——一些常用的最优化算法
机器学习常用的最优化算法本篇blog将介绍梯度下降法、随机梯度下降法、坐标下降法、牛顿法。梯度下降法基本步骤 首先写出梯度下降法的简单步骤: 我们需要最优化的函数是f(x),其中x为向量。 1、初始化向量x。 2、更新x=x-α*▽f(x) 其中 ▽f(x)=∂f(x)/∂(d) d为某维度的单位向量 3、重复这个过程直到收敛。 直观上理解就是,你在一座山的半山腰上,...原创 2018-05-04 01:16:43 · 1193 阅读 · 0 评论 -
机器学习——SVM算法(一):支持向量机的推导
SVM算法(支持向量机)SVM,全称是支持向量机(Support Vector Machine)。它是一种二类模型。 与感知机追求最小容错率不同,SVM追求的是间隔最大化,它在保证大致正确分类的同时,一定程度上避免了过拟合。 感知机一般使用梯度下降法进行计算,而SVM则一般使用拉格朗日乘子法进行计算。 另外,通过核函数可以实现非线性的支持向量机。最优化函数SVM的基本概念与感...原创 2018-04-27 15:24:00 · 1006 阅读 · 0 评论 -
机器学习——SVM算法(二):支持向量机的实现
SVM算法(二):支持向量机的实现前导:SVM的推导:https://blog.csdn.net/wcy_1122/article/details/80108647 本篇blog将介绍SVM的实现。 //更新断断续续,有空就填坑,没空就先留坑。SMO算法SMO的引入 SVM最后会转化到一个二次优化问题,这个东西可以使用牛顿法或梯度下降法之类的方法解决,但是当样本数量较多的时候运行...原创 2018-05-20 19:38:57 · 368 阅读 · 0 评论 -
机器学习——凸优化基础
凸优化基础来扯一些理论基础。一些定义凸集的定义 定义集合C为凸集当且仅当:任取x,y∈C,θ∈[0,1],都有 θx+(1-θ)y∈C 从几何意义上来说,就是凸集C中的任意线段,若他的的头尾属于该集合,则其整体属于该集合凸函数的定义 函数f为从R^n映射到R的可积函数,且它需要满足: 1、定义域为凸集 2、f(θx+(1-θ)y) <= θ*f(x)+(1-θ)*f...原创 2018-05-16 01:09:18 · 625 阅读 · 0 评论 -
基于MNIST数据集的手写体识别
基于MNIST数据集的手写体识别关于deep learning的第一次实战练习,主要是为了熟悉一下tensorflow的使用。MNIST数据集MNIST数据集应该是一个非常经典的深度学习入门训练数据集了。数据部分,每个图像都是一个28*28的像素点矩阵。标记部分,是一个10维的向量,数字位为1,非数字位为0。写了个简单的代码看了些这个数据集的图像和存储格式。代码import ten...原创 2018-12-05 00:21:52 · 1522 阅读 · 1 评论