关闭

SVM——分类与回归实例

在线课堂——支持向量机实例学习笔记。 支持向量机简介 支持向量机是一种监督学习数学模型,由n个变量组成的数据项都可以抽象成n维空间内的一个点,点的各个维度坐标值即为各个变量。如果一堆数据项可以分为m个类,那么可以构建m-1个n维超平面将不同种类的数据项的点尽量分隔开,则这些超平面为支持向量面,这个分类数学模型为支持向量机分类模型。 Classification分析——鸢尾花数据集 Scik...
阅读(137) 评论(0)

【机器学习方法研究】——思路整理、支持向量机

机器学习方法是计算机科学的一个分支,它借助于计算机算法,对数据进行分析后,实现模式识别,进而实现对未来数据的预测。 机器学习方法可以分为以下几个类别: 1.监督学习: 训练的输出分类是预先设定好的,根据输入和输出,算法的目标在于寻找其中的对应函数。 2.无监督学习: 训练的输出分类是预先不知道的。算法的目标在于发现数据中的结构,如聚类分析。 3.半监督学习: 介于监督学习...
阅读(63) 评论(0)

sklearn.svm.SVC 参数说明

经常用到sklearn中的SVC函数,这里把文档中的参数翻译了一些,以备不时之需。 本身这个函数也是基于libsvm实现的,所以在参数设置上有很多相似的地方。(PS: libsvm中的二次规划问题的解决算法是SMO)。 sklearn.svm.SVC(C=1.0, kernel='rbf', degree=3, gamma='auto', coef0=0.0, shrinking=Tr...
阅读(43) 评论(0)

矩阵分解(MF)方法及代码

一、基于投影梯度法的非负矩阵分解 论文:Projected gradient methods for non-negative matrix factorization  代码:Matlab及Python源码 二、基于类牛顿法的最小二乘矩阵近似解法 论文:Fast Newton-type Methods for the Least Squares Nonnegative Mat...
阅读(93) 评论(0)

Bandit:一种简单而强大的在线学习算法

假设我有5枚硬币,都是正反面不均匀的。我们玩一个游戏,每次你可以选择其中一枚硬币掷出,如果掷出正面,你将得到一百块奖励。掷硬币的次数有限(比如10000次),显然,如果要拿到最多的利益,你要做的就是尽快找出“正面概率最大”的硬币,然后就拿它赚钱了。 这个问题看起来很数学化,其实它在我们的生活中经常遇见。比如我们现在有很多在线场景,遇到一个相同的问题:一个平台这么多信息,该展示什么给用户,才能...
阅读(1184) 评论(0)

坐标下降法(Coordinate descent)

首先介绍一个算法:coordinate-wise minimization 问题的描述:给定一个可微的凸函数,如果在某一点x,使得f(x)在每一个坐标轴上都是最小值,那么f(x)是不是一个全局的最小值。 形式化的描述为:是不是对于所有的d,i都有 这里的代表第i个标准基向量。 答案为成立。 这是因为: 但是问题来了,如果对于凸函数f,若不...
阅读(141) 评论(0)

坐标下降与梯度下降

本文是对坐标上升、坐标下降及梯度下降的关系的个人总结,欢迎大家讨论。 1.坐标上升法:坐标上升与坐标下降可以看做是一对,坐标上升是用来求解max最优化问题,坐标下降用于求min最优化问题,但是两者的执行步骤类似,执行原理相同。 例如要求接一个max_f(x1,x2,...,xn)的问题,其中各个xi是自变量,如果应用坐标上升法求解,其执行步骤就是: 1.首先给定一个初...
阅读(85) 评论(0)

相对熵(KL散度)

今天开始来讲相对熵,我们知道信息熵反应了一个系统的有序化程度,一个系统越是有序,那么它的信息熵就越低,反 之就越高。下面是熵的定义   如果一个随机变量的可能取值为,对应的概率为,则随机变 量的熵定义为                  有了信息熵的定义,接下来开始学习相对熵。   Contents      1. 相对熵的认...
阅读(94) 评论(0)

AdaBoost与随机森林区别

AdaBoost 首先明确一个大方向:强可学习和弱可学习是等价的。所以,弱可学习方法可以提升为强可学习方法。AdaBoost最具代表性。 对于提升方法,有两个问题需要回答: 每一轮如何改变训练数据的权值或概率分布?如何将弱分类器组合成一个强分类器? AdaBoost的做法: 提高那些被前一轮弱分类器错误分类样本的权值,而降低那些被正确分类样本的权值。加权多数表决的方法...
阅读(84) 评论(0)

多目标进化算法(MOEAs)概述

原文地址 对于大多数多目标优化问题,其各个目标往往是相互冲突的,因此不可能使得所有的目标同时达到最优,而是一组各个目标值所折衷的解集,称之为Pareto最优集。以下为一些基本定义(以最小化优化问题为例): Definition 1: 多目标优化问题(multi-objective optimization problem(MOP))  F(x)=(f1(x),…,fm(x))s.t....
阅读(108) 评论(0)

CPM(Cluster Percolation method)派系过滤算法

原文地址 一、概念 (1)完全子图/全耦合网络/k-派系:所有节点全部两两相连                                           图1 这些全耦合网络也成为派系,k-派系表示该全耦合网络的节点数目为k 1)k-派系相邻:两个不同的k-派系共享k-1个节点,认为他们相邻 2)k-派系连通:一个k-派系可以通过若干个相邻的k-派系到达另...
阅读(110) 评论(0)

社区发现算法(三)

版权声明:本文为博主原创文章,未经博主允许不得转载。http://blog.csdn.net/aspirinvagrant 派系过滤CPM方法(clique percolation method)用于发现重叠社区,派系(clique)是任意两点都相连的顶点的集合,即完全子图。 在社区内部节点之间连接密切,边密度高,容易形成派系(clique)。因此,社区内部的边有较大可能形成大...
阅读(105) 评论(0)

从拉普拉斯矩阵说到谱聚类

原文地址 0 引言     11月1日上午,机器学习班 第7次课,邹讲聚类(PPT),其中的谱聚类引起了自己的兴趣,邹从最基本的概念:单位向量、两个向量的正交、方阵的特征值和特征向量,讲到相似度图、拉普拉斯矩阵,最后讲谱聚类的目标函数和其算法流程。     课后自己又琢磨了番谱聚类跟拉普拉斯矩阵,打算写篇博客记录学习心得, 若有不足或建议,欢迎随时不吝指出,thanks。 ...
阅读(72) 评论(0)

谱聚类(spectral clustering)原理总结

原文地址  谱聚类(spectral clustering)是广泛使用的聚类算法,比起传统的K-Means算法,谱聚类对数据分布的适应性更强,聚类效果也很优秀,同时聚类的计算量也小很多,更加难能可贵的是实现起来也不复杂。在处理实际的聚类问题时,个人认为谱聚类是应该首先考虑的几种算法之一。下面我们就对谱聚类的算法原理做一个总结。 1. 谱聚类概述     谱聚类是从图论中演化出来的...
阅读(82) 评论(0)

python 学习笔记2 --画图(networkx)

绘制基本网络图 用matplotlib绘制网络图 基本流程: 1. 导入networkx,matplotlib包 2. 建立网络 3. 绘制网络 nx.draw() 4. 建立布局 pos = nx.spring_layout美化作用 最基本画图程序 import import networkx as nx #导入networkx包 import matpl...
阅读(102) 评论(0)

Kernighan-Lin算法

注意:之前对于公式用LATEX编写,复制的图片,不知怎么就显示不出,凡是框框的地方,用文字表示了公式。          Kernighan-Lin算法是一种启发式算法,基于贪婪原理将网络划分为两个大小已知的社团。     所要解决的问题描述:给定一个无向带权图G=(V,E,C),其中V为一含有2n个节点的集合,E为边集合,C为2n*2n且对称的权重矩阵(Cij表示节点i和节点j直接...
阅读(124) 评论(0)

NMF 非负矩阵分解(Non-negative Matrix Factorization)实践

原文地址 1. NMF-based 推荐算法 在例如Netflix或MovieLens这样的推荐系统中,有用户和电影两个集合。给出每个用户对部分电影的打分,希望预测该用户对其他没看过电影的打分值,这样可以根据打分值为其做出推荐。用户和电影的关系,可以用一个矩阵来表示,每一列表示用户,每一行表示电影,每个元素的值表示用户对已经看过的电影的打分。下面来简单介绍一下基于NMF的推荐算法。 ...
阅读(106) 评论(0)

NMF 非负矩阵分解 -- 原理与应用

原文地址 1.原理 发现写关于非负矩阵的博文还是蛮多的,还是以自己的角度总结一下自己的最近看的若干东西以及对非负矩阵分解有用的一些资料链接。NMF,全称为non-negative matrix factorization,中文呢为“非负矩阵分解”。 NMF的思想:V=WH(W权重矩阵、H特征矩阵、V原矩阵),通过计算从原矩阵提取权重和特征两个不同的矩阵出来...
阅读(120) 评论(0)

Pareto(帕雷托)相关知识

原文地址:Pareto(帕雷托)相关知识作者:XIAO_QingJun 1879年,经济学家意大利人维弗雷多·帕雷托 (Villefredo Pareto) 提出:社会财富的80%是掌握在20%的人手中,而余下的80%的人只占有20%的财富。渐渐地,这种“关键的少数(vital few)和次要的多数(trivial many)”的理论,被广为应用在社会学和经济学中,并被成之为Pareto...
阅读(130) 评论(0)

Latex公式编号、行内公式、公式内空格、长公式换行、行内连加符号

一、公式编号 \begin{equation} X(k)=\sum_{n=0}^{N-1} x(n)e^{-j \frac{2 \pi}{N} k n}=\sum_{n=0}^{N-1} x(n) W_N^{kn},\quad k=0,1,...,N-1. \end{equation} 下一段 (1)前后加上begin{equati...
阅读(138) 评论(0)
253条 共13页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:221158次
    • 积分:2338
    • 等级:
    • 排名:第17001名
    • 原创:8篇
    • 转载:245篇
    • 译文:0篇
    • 评论:4条
    最新评论