machine learning
不负韶华T
泛爱众 而亲仁 有余力 则学文
展开
-
梯度下降法和随机梯度下降法的区别
这几天在看《统计学习方法》这本书,发现 梯度下降法 在 感知机 等机器学习算法中有很重要的应用,所以就特别查了些资料。 一.介绍 梯度下降法(gradient descent)是求解无约束最优化问题的一种常用方法,有实现简单的优点。梯度下降法是迭代算法,每一步需要求解目标函数的梯度向量。 二.应用场景 1.给定许多转载 2017-03-26 22:22:31 · 756 阅读 · 0 评论 -
SVM添加数据库和绘制效果图
'''Created on Nov 22, 2010@author: Peter'''from numpy import *import matplotlibimport matplotlib.pyplot as pltfrom matplotlib.patches import Circlexcord0 = []ycord0 = []xcord1 = []ycord1 = []原创 2017-11-30 13:48:42 · 861 阅读 · 0 评论 -
one hot 编码及数据归一化
机器学习 数据预处理之独热编码(One-Hot Encoding)问题由来在很多机器学习任务中,特征并不总是连续值,而有可能是分类值。例如,考虑一下的三个特征:["male", "female"]["from Europe", "from US", "from Asia"]["uses Firefox", "uses Chrome", "us转载 2017-12-11 20:00:48 · 575 阅读 · 0 评论 -
LDA和PCA
LDA的全称是Linear Discriminant Analysis(线性判别分析),是一种supervised learning。有些资料上也称为是Fisher’s Linear Discriminant,因为它被Ronald Fisher发明自1936年,Discriminant这次词我个人的理解是,一个模型,不需要去通过概率的方法来训练、预测数据,比如说各种贝叶斯方法,就需要获取数据的先验转载 2017-06-01 12:33:08 · 529 阅读 · 0 评论 -
感知机数据算法的对偶形式
(1,1)*是x那3个2维向量具体计算得知。所以可以求得对偶感知机模型:和感知机的原始形式一样,对偶形式也是收敛的,可以存在多个解,这既依赖于初值的选择,也依赖于迭代过程中误分类点的选择顺序,如果想得到唯一的超平面,需要对分离超平面增加约束条件,而这就是线性支持向量机的想法。在进行感知学习时,当训练集线性不可分时,感知机的学习算法也不会收敛,迭代结果会发生震荡。原创 2017-04-27 22:16:22 · 1556 阅读 · 0 评论 -
感知机
感知机算法处理的数据必须是线性可分的,否则无法停下来算法:While (True) { Bool flag = False ForI in N If Yi * (W内积Xi) W= W + YiXi flag =原创 2017-04-27 15:39:12 · 279 阅读 · 0 评论 -
卡尔曼滤波的原理说明
在学习卡尔曼滤波器之前,首先看看为什么叫“卡尔曼”。跟其他著名的理论(例如傅立叶变换,泰勒级数等等)一样,卡尔曼也是一个人的名字,而跟他们不同的是,他是个现代人!卡尔曼全名Rudolf Emil Kalman,匈牙利数学家,1930年出生于匈牙利首都布达佩斯。1953,1954年于麻省理工学院分别获得电机工程学士及硕士学位。1957年于哥伦比亚大学获得博士学位。我们现在要学习的卡尔曼滤波器转载 2017-05-09 16:47:18 · 325 阅读 · 0 评论 -
分类系列之感知器学习算法PLA 和 口袋算法Pocket Algorithm
我们有一堆数据,默认他们是线性可分的。 定义f为这个数据分割线的最优解,但是我们不知道他的值。 我们仅有一个函数集H,这个函数一般是无穷大的。我们的目的就是从H中找出一条线g来尽可能的接近f。但是,我刚刚说了,H内的函数一般是无穷多的,我们不可能把H中的函数一 一 比较,得到最好的分割线g吧!!!不过伟大的科学家就说,我们的目的不就是找出一条线把这些数据都分开吗!!那我随机的初始化转载 2017-04-26 23:11:03 · 572 阅读 · 0 评论 -
支持向量机通俗导论(理解SVM的三层境界)
支持向量机通俗导论(理解SVM的三层境界)前言 动笔写这个支持向量机(support vector machine)是费了不少劲和困难的,原因很简单,一者这个东西本身就并不好懂,要深入学习和研究下去需花费不少时间和精力,二者这个东西也不好讲清楚,尽管网上已经有朋友写得不错了(见文末参考链接),但在描述数学转载 2017-04-26 15:26:12 · 290 阅读 · 0 评论 -
SVM-支持向量机算法概述
(一)SVM的背景简介支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的,它在解决小样本、非线性及高维模式识别中表现出许多特有的优势,并能够推广应用到函数拟合等其他机器学习问题中[10]。支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的,根据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度,Ac转载 2017-04-25 19:03:34 · 290 阅读 · 0 评论 -
模型选择与特征选择
1 问题 模型选择问题:对于一个学习问题,可以有多种模型选择。比如要拟合一组样本点,可以使用线性回归,也可以用多项式回归。那么使用哪种模型好呢(能够在偏差和方差之间达到平衡最优)? 还有一类参数选择问题:如果我们想使用带权值的回归模型,那么怎么选择权重w公式里的参数?形式化定义:假设可选的模型集合是,比如我们想分类,那么SVM、logistic回归、神经网络转载 2017-04-24 23:36:42 · 4951 阅读 · 0 评论 -
PCA的数学原理(非常值得阅读)!!!!
PCA(Principal Component Analysis)是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示,可用于提取数据的主要特征分量,常用于高维数据的降维。网上关于PCA的文章有很多,但是大多数只描述了PCA的分析过程,而没有讲述其中的原理。这篇文章的目的是介绍PCA的基本数学原理,帮助读者了解PCA的工作机制是什么。当然我并不打算把文章写成转载 2017-04-24 14:04:34 · 348 阅读 · 0 评论 -
CNN卷积神经网络推导和实现
《Notes on Convolutional Neural Networks》一、介绍 这个文档讨论的是CNNs的推导和实现。CNN架构的连接比权值要多很多,这实际上就隐含着实现了某种形式的规则化。这种特别的网络假定了我们希望通过数据驱动的方式学习到一些滤波器,作为提取输入的特征的一种方法。 本文中,我们先对训练全连接网络的经典BP算法做一个描转载 2017-05-11 18:04:07 · 335 阅读 · 0 评论 -
auc
1 ROC曲线和auc从二分类说起,假设我们的样本全集里,所有样本的真实标签(label)为0或1,其中1表示正样本,0表示负样本,如果我们有一个分类模型,利用它对样本进行了标注,那边我们可以得到下面的划分 truth 10predictor转载 2017-04-16 21:56:31 · 591 阅读 · 0 评论 -
竞争神经网络
竞争型神经网络是基于无监督学习方法(unsupervised learning)的神经网络的一种重要类型,它经常作为基本的网络形式,构成其他一些具有组织能力的网络,如自组织映射网络、自适应共振理论网络、学习向量量化网络等。 生物神经网络存在一种侧抑制现象,即一个神经细胞兴奋后,通过它的分支会对周围其他神经细胞产生抑制,这种抑制使神经细胞之间出现竞争:在开始阶段,各神经元对系统的输入原创 2017-05-02 01:01:49 · 2214 阅读 · 0 评论 -
RBF神经网络
【注】蓝色字体为自己的理解部分 径向基函数神经网络的优点:逼近能力,分类能力和学习速度等方面都优于BP神经网络,结构简单、训练简洁、学习收敛速度快、能够逼近任意非线性函数,克服局部极小值问题。原因在于其参数初始化具有一定的方法,并非随机初始化。 RBF是具有单隐层的三层前向网络。第一层为输入层,由信号源节点组成。第二层为隐藏层,隐藏层节点数视所描述问题的需要而转载 2017-05-01 01:36:51 · 3750 阅读 · 0 评论 -
bp
转自博客园@编程De: http://www.cnblogs.com/jzhlin/archive/2012/07/28/bp.html从神经网络的生物模型说起 我们知道人大脑信息的传递、对外界刺激产生反应都由神经元控制的,人脑就是由上百亿个的这样神经元构成。这些神经元之间并不孤立而且联系很密切,每个神经元平均与几千个神经元相连接,因此构成了人脑的神经网转载 2017-04-29 21:20:51 · 369 阅读 · 0 评论 -
交叉熵代价函数cross-entropy
交叉熵代价函数(Cross-entropy cost function)是用来衡量人工神经网络(ANN)的预测值与实际值的一种方式。与二次代价函数相比,它能更有效地促进ANN的训练。在介绍交叉熵代价函数之前,本文先简要介绍二次代价函数,以及其存在的不足。1. 二次代价函数的不足 ANN的设计目的之一是为了使机器可以像人一样学习知识。人在学习分析新事物时转载 2017-12-02 11:34:56 · 1067 阅读 · 0 评论