![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
公众号:程序芯世界
这个作者很懒,什么都没留下…
展开
-
机器学习综述
导读:在本篇文章中,将对机器学习做个概要的介绍。本文的目的是能让即便完全不了解机器学习的人也能了解机器学习,并且上手相关的实践。当然,本文也面对一般读者,不会对阅读有相关的前提要求。 在进入正题前,我想读者心中可能会有一个疑惑:机器学习有什么重要性,以至于要阅读完这篇非常长的文章呢? 我并不直接回答这个问题前。相反,我想请大家看两张图,下图是图一:图1 机器学习界的执牛转载 2016-11-19 19:46:24 · 8976 阅读 · 0 评论 -
拉格朗日对偶
本文承接上一篇 约束优化方法之拉格朗日乘子法与KKT条件,将详解一些拉格朗日对偶的内容。都是一些在优化理论中比较简单的问题或者一些特例,复杂的没见过,但是简单的刚接触都感觉如洪水猛兽一般,所以当真是学海无涯。在优化理论中,目标函数 会有多种形式:如果目标函数和约束条件都为变量 的线性函数, 称该问题为线性规划; 如果目标函数为二次函数, 约束条件为线性函数, 称该最优化问题转载 2017-10-27 10:34:10 · 518 阅读 · 0 评论 -
约束优化方法之拉格朗日乘子发与KKT条件
引言本篇文章将详解带有约束条件的最优化问题,约束条件分为等式约束与不等式约束,对于等式约束的优化问题,可以直接应用拉格朗日乘子法去求取最优值;对于含有不等式约束的优化问题,可以转化为在满足 KKT 约束条件下应用拉格朗日乘子法求解。拉格朗日求得的并不一定是最优解,只有在凸优化的情况下,才能保证得到的是最优解,所以本文称拉格朗日乘子法得到的为可行解,其实就是局部极小值,接下来从无约束优化开始一一转载 2017-10-27 10:31:41 · 689 阅读 · 0 评论 -
感知机
感知机模型: 1 判别模型, 2 旨在学习出一个线性划分的超平面输入 T= {(x1,y1),(x2,y2)……(xN,yN)}xi 是一n维的特征向量,yi属于{+1,-1}。 通俗来讲就是。(假设T是线性可分的)输出 函数f(x) = sign(w·x + b)sign表示符号函数。是一n维的向量。 (w,b)可以确定一个超平面。首先,我们要使用梯度下降来求解。转载 2017-08-15 18:22:40 · 278 阅读 · 0 评论 -
LibSVM
1 Libsvm 下载 … 3 2 Libsvm3.0 环境变量设置… 3 3 训练和测试数据集下载 … 3 4 运行 python程序的环境配置 … 3 5 LIBSVM 使用的一般步骤是:… 3 6 再来说一下, libsvm-3.0 的需要的数据及其格式。 … 4 7 Libsvm 数据格式制作:… 4 8 Windows转载 2017-08-16 11:49:09 · 613 阅读 · 0 评论 -
SVM
前两章讨论支持向量机时,假设了数据最终是能完全被分开,即数据在原始特征空间或映射到高维特征空间之后能够完全正确分类。但是,这样绝对的分类存在一个明显的问题,如果模型中存在异常点,即使高维映射之后,能够完全正确分类,也可能导致模型复杂度过高,模型过拟合。虽然训练出来的模型能够在训练集上表现很好,但其泛化能力会很差。如下图所示,明显蓝色框标记的两个白色点和两个红色点都是异常点,如果通过硬间隔S转载 2017-08-16 10:47:11 · 458 阅读 · 0 评论 -
梯度下降法
在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降(Gradient Descent)是最常采用的方法之一,另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。1. 梯度 在微积分里面,对多元函数的参数求∂偏导数,把求得的各个参数的偏导数以向量的形式写出来,就是梯度。比如函数f(x,y), 分别对x,y求偏导数,求得的梯度向量就是(∂f/∂x, ∂f/∂y)T,转载 2017-07-14 21:03:14 · 685 阅读 · 0 评论 -
机器学习数学基础
机器学习理论篇1:机器学习的数学基础一、概述我们知道,机器学习的特点就是:以计算机为工具和平台,以数据为研究对象,以学习方法为中心;是概率论、线性代数、数值计算、信息论、最优化理论和计算机科学等多个领域的交叉学科。所以本文就先介绍一下机器学习涉及到的一些最常用的的数学知识。二、线性代数2-1、标量一个标量就是一个单独的数,一般用小写的的变量名称表转载 2017-07-13 16:47:56 · 2387 阅读 · 0 评论 -
朴素贝叶斯分类
生活中很多场合需要用到分类,比如新闻分类、病人分类等等。本文介绍朴素贝叶斯分类器(Naive Bayes classifier),它是一种简单有效的常用分类算法。一、病人分类的例子让我从一个例子开始讲起,你会看到贝叶斯分类器很好懂,一点都不难。某个医院早上收了六个门诊病人,如下表。 症状 职业 疾病 打喷嚏 护士 感冒 打喷嚏 农夫 过敏转载 2017-06-17 09:24:35 · 488 阅读 · 0 评论 -
向量范数与矩阵范数
1.范数(norm)的意义要更好的理解范数,就要从函数、几何与矩阵的角度去理解。 我们都知道,函数与几何图形往往是有对应的关系,这个很好想象,特别是在三维以下的空间内,函数是几何图像的数学概括,而几何图像是函数的高度形象化,比如一个函数对应几何空间上若干点组成的图形。但当函数与几何超出三维空间时,就难以获得较好的想象,于是就有了映射的概念,映射表达的就是一个集合通过某种关系转为另外转载 2017-11-01 15:35:54 · 405 阅读 · 0 评论