- 博客(8)
- 收藏
- 关注
RSS订阅原创 生成式模型与判别式模型
生成式模型与判别式模型的区别生成式模型（Generative Model）与判别式模型（Discriminative Model）是分类器常遇到的问题对于判别式模型来说求得P(Y|X)，对未见示例X，根据P(Y|X)可以求得标记Y，即可以直接判别出来，如上图的左边所示，实际是就是直接得到了判别边界，所以传统的、耳熟能详的机器学习算法如线性回归模型、支持向量机SVM等都是判别式模型...
2017-03-17 23:20:01
2501
原创 KNN算法matlab代码实现
clear;clc;K=3;trainData = [1.0,2.0;1.2,0.1;0.1,1.4;0.3,3.5];trainClass = [1,1,2,2];testData = [0.5,2.3];[N,M]=size(trainData);%计算训练数据集与测试数据之间的欧氏距离distdist=zeros(N,1);for i=1:N dist(i,:)=
2017-03-13 22:54:22
18889
原创 正则化总结
一， 正则化的目的：1. 过拟合现象：如图，在线性回归中。图一中，使用一条直线进行数据的拟合，但是这个模型并没有很好的拟合数据，产生很大的偏差。这种现象称为欠拟合。图二中，使用一个二次函数进行拟合，得到很好的拟合结果。图三中，使用更高阶的多项式进行拟合，这个模型通过了所有的训练数据，使代价函数 约等于0甚至等于0。但是这是一条极度不规律扭曲的曲线，它并不是一个
2017-03-13 17:55:26
7533
2
原创 matlab：inv，pinv逆与伪逆
对于方阵A，如果为非奇异方阵，则存在逆矩阵inv(A)对于奇异矩阵或者非方阵，并不存在逆矩阵，但可以使用pinv(A)求其伪逆inv：inv(A)*B实际上可以写成A\BB*inv(A)实际上可以写成B/A这样比求逆之后带入精度要高A\B=pinv(A)*B A/B=A*pinv(B)pinv：X=pinv(A),X=pinv(
2017-03-11 16:42:25
87289
原创 赤池信息准则AIC，BIC
很多参数估计问题均采用似然函数作为目标函数，当训练数据足够多时，可以不断提高模型精度，但是以提高模型复杂度为代价的，同时带来一个机器学习中非常普遍的问题——过拟合。所以，模型选择问题在模型复杂度与模型对数据集描述能力（即似然函数）之间寻求最佳平衡。人们提出许多信息准则，通过加入模型复杂度的惩罚项来避免过拟合问题，此处我们介绍一下常用的两个模型选择方法——赤池信息准则（Akaike Inform
2017-03-09 18:24:25
41744
转载 MATLAB中常用的排列、组合、阶乘函数
1、求n的阶乘，方法如下：a、factorial(n)b、gamma(n+1)c、v='n!'; vpa(v)2、求组合(数)，方法如下：a、combntns(x,m) 列举出从n个元素中取出m个元素的组合。其中，x是含有n个元素的向量。b、nchoosek(n,m) 从n各元素中取m个元素的所有组合数。nchoosek(x,m) 从向量x中取m个
2017-03-07 22:06:07
46045
转载 聚类评价指标 Rand Index,RI,Recall,Precision,F1
详细说明在http://nlp.stanford.edu/IR-book/html/htmledition/evaluation-of-clustering-1.html假设一个集合中有N篇文章一个集合中有N(N-1)/2个集合对TP：同一类的文章被分到同一个簇TN：不同类的文章被分到不同簇FP：不同类的文章被分到同一个簇FN：同一类的文章被分到不同
2017-03-07 21:42:22
9665
3
转载 浅谈协方差矩阵
今天看论文的时候又看到了协方差矩阵这个破东西，以前看模式分类的时候就特困扰，没想到现在还是搞不清楚，索性开始查协方差矩阵的资料，恶补之后决定马上记录下来，嘿嘿~本文我将用自认为循序渐进的方式谈谈协方差矩阵。统计学的基本概念学过概率统计的孩子都知道，统计里最基本的概念就是样本的均值，方差，或者再加个标准差。首先我们给你一个含有n个样本的集合X={X1,…,Xn}X={X1,…,X
2017-03-06 16:36:07
220
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人