关闭

机器学习经典算法详解及Python实现--K近邻(KNN)算法

转载http://blog.csdn.net/suipingsp/article/details/41964713 (一)KNN依然是一种监督学习算法 KNN(K Nearest Neighbors,K近邻 )算法是机器学习所有算法中理论最简单,最好理解的。KNN是一种基于实例的学习,通过计算新数据与训练数据特征值之间的距离,然后选取K(K>=1)个距离最近的邻居进行分类判断(投票法)...
阅读(39) 评论(0)

逻辑回归模型(Logistic Regression, LR)基础

转载http://www.cnblogs.com/sparkwen/p/3441197.html 逻辑回归(Logistic Regression, LR)模型其实仅在线性回归的基础上,套用了一个逻辑函数,但也就由于这个逻辑函数,使得逻辑回归模型成为了机器学习领域一颗耀眼的明星,更是计算广告学的核心。本文主要详述逻辑回归模型的基础,至于逻辑回归模型的优化、逻辑回归与计算广告学...
阅读(34) 评论(0)

机器学习之期望最大算法(EM算法)

EM是我一直想深入学习的算法之一,第一次听说是在NLP课中的HMM那一节,为了解决HMM的参数估计问题,使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。 下面主要介绍EM的整个推导过程。 1. Jensen不等式       回顾优化理论中的一些概念。设f是定义域为实数的函数,如果对于所有的实数x,,那么f是凸函数。当x是...
阅读(155) 评论(0)

机器学习之最大似然算法

机器学习十大算法之一:EM算法。能评得上十大之一,让人听起来觉得挺NB的。什么是NB啊,我们一般说某个人很NB,是因为他能解决一些别人解决不了的问题。神为什么是神,因为神能做很多人做不了的事。那么EM算法能解决什么问题呢?或者说EM算法是因为什么而来到这个世界上,还吸引了那么多世人的目光。        我希望自己能通俗地把它理解或者说明白,但是,EM这个问题感觉真的不太好用通俗的语言去说明...
阅读(158) 评论(0)

拉普拉斯近似算法小结

序     在机器学习中,经常遇到需要对复杂分布进行近似的情况。目前常用的近似算法主要有三种:拉普拉斯近似、变分近似、Gibbs采样。其中拉普拉斯近似算法是用一个高斯分布来近似原始分布,当原始分布比较简单的时候效果会较好。 目标: 用一个高斯分布近似一组连续变量上的概率密度分布。 一维空间: 变量z,假设分布为p(z)=1Zf(z),其中Z=∫f(z)dz是归一化项。...
阅读(183) 评论(0)

贝叶斯学习及共轭先验

今天的主要任务是来理解共轭先验以及贝叶斯学习。最近在研究主题模型,里面用到了一些,另外在机器学习中,贝叶斯学习是重要的一个方向,所以有必要学习和掌握。     Contents      1. 贝叶斯学习    2. Beta分布及共轭先验     1. 贝叶斯学习      首先,我从最简单的硬币投掷开始。现在给你一个硬币,假设有...
阅读(77) 评论(0)

机器学习——深度学习(Deep Learning)

Deep Learning是机器学习中一个非常接近AI的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,最近研究了机器学习中一些深度学习的相关知识,本文给出一些很有用的资料和心得。 Key Words:有监督学习与无监督学习,分类、回归,密度估计、聚类,深度学习,Sparse DBN, 1. 有监督学习和无监督学习 给定一组数据(inpu...
阅读(86) 评论(0)

机器学习中的范数规则化之(一)L0、L1与L2范数

机器学习中的范数规则化之(一)L0、L1与L2范数 zouxy09@qq.com http://blog.csdn.net/zouxy09          今天我们聊聊机器学习中出现的非常频繁的问题:过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大,为了不吓到大家,我将这个五个部分分成两篇博文。...
阅读(306) 评论(0)

Neural Network Toolbox 使用笔记1:数据拟合

Neural Network Toolbox为各种复杂的非线性系统的建模提供多种函数和应用程序。该工具箱提供各种监督学习模型:前向反馈,径向基核函数和动态网络等模型。同时也提供自组织图和竞争层结构(competitive layers)的非监督学习模型。该工具箱具有设计、训练、可视化与仿真神经网络的功能。基于该工具箱可以进行数据拟合、模式识别、分类和时间序列预测及其动态系统的建模和控制。 可...
阅读(176) 评论(0)
    个人资料
    • 访问:1238次
    • 积分:26
    • 等级:
    • 排名:千里之外
    • 原创:0篇
    • 转载:7篇
    • 译文:0篇
    • 评论:0条
    文章存档