机器学习
文章平均质量分 83
qq_16540387
这个作者很懒,什么都没留下…
展开
-
ID3—决策树算法
一 基本概念ID3 算法以信息论为基础,其中以信息熵和信息增益度为 度量标准,从而实现对数据的归纳分类。 熵的定义:假设有n个互不相容的事件a1,a2,a3,….,an, p(ai)表示事件ai发生的概率,则由该分布传递的信息量称为熵,记为式 举个列子 如英语有26个字母,假如每个字母在文章中出现次数平均的话,每个字母的信息量为: I(e)=-log2(原创 2017-11-18 18:14:32 · 1254 阅读 · 0 评论 -
SMO算法求解支持向量机(二)
接上一部分 支持向量机的基本原理(一) 相关内容 用SMO算法求解支持向量机(SVM)pythony源代码(三)一 SMO求解步骤目标函数的问题最终变为:在上求下述目标函数的最小值。 为了求解这些乘子,每次从中任意抽取两个乘子a1和a2,然后固定其它乘子,使得目标函数只是关于a1和a2的函数。这样,不断的从一堆乘子中任意抽取两个求解,不断的迭代求解子问题,最终达到求解原问题的目的。原创 2017-11-21 17:04:42 · 661 阅读 · 0 评论 -
支持向量机的基本原理(一)
相关内容 SMO算法求解支持向量机(二) 用SMO算法求解支持向量机(SVM)pythony源代码(三) 支持向量机是万能的分类器算法,简称SVM。一般来说他是二分类模型,其基本模型定义为特征空间上的间隔最大的线性分类器,其学习策略便是间隔最大化,最终可转化为一个凸二次规划问题的求解。一 理解SVM基本原理1,SVM的基本概念我们的目的是根据几何间隔计算“最大间隔”。1.1 函数间隔对任何一个原创 2017-11-21 16:40:38 · 8617 阅读 · 0 评论 -
用SMO算法求解支持向量机(SVM)pythony源代码(三)
相关内容 支持向量机的基本原理(一) SMO算法求解支持向量机(二)子文件1—1# -*- coding: utf-8 -*-from numpy import *import operatorfrom time import sleepclass PlattSVM(object): def __init__(self): self.X = [] # 输入数据集原创 2017-11-21 17:41:43 · 1278 阅读 · 0 评论 -
BP神经网络的实现
一 BP神经网络的基本结构在神经网络中,输入层由数据集的某个向量x和一个偏置b构成,该向量需要乘以同纬度的权重向量w,累加得到下一层神经元的一个输入标量,该标量乘以激活函数得到下一层神经元的输入。该结构分为以下几个部分。 二 BP神经网络的训练过程1.正向传播的过程 上式中的w是隔层的权重向量。o是上一次的输出向量,对于输入层就是训练样本集x。b是阈值,与梯度下降法处理相同,在训练样本集x首列加原创 2017-12-04 18:11:51 · 1063 阅读 · 1 评论 -
详解反向传播算法
反向传播算法一般用链式法解释,例如有如下神经网络一 前向传播对于节点h1来说,h1的净输入neth1如下接着对neth1做一个sigmoid函数得到节点h1的输出类似的,我们能得到节点h2,o1,o2的输出outh2,outo1,outo2.二 误差得到结果后整个神经网络的输出误差可以表示为:其中output就是刚刚前向传播算出来的outo1,outo2;target是节点o1,o2的目标值。Eto原创 2017-12-04 16:04:51 · 1706 阅读 · 1 评论 -
PCA降维原理
一 基本概念在之前的介绍中,一幅图像只能表示一个对象。那么对于w x h的灰度图像,只能表示为w x h位的向量,那么一个有100*100的图像就需要10000维的向量空间。对于一幅人脸而言,是否所有维的数据都是有用的呢?在矩阵论当中我们知道,矩阵可以近似的表示为一个特征值与特征向量的乘积。 根据这个原理,如果我们能够提取出高维向量中某些特有特征或相关变量,就能用一个近似说的低维向量表示这个高维向原创 2017-12-05 14:40:56 · 638 阅读 · 0 评论