![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习算法
songjinbo3
这个作者很懒,什么都没留下…
展开
-
分类算法的评价标准
1、混淆矩阵2、常用术语(1)True Positives,TP:预测为正样本,实际也为正样本的特征数(2)False Positives,FP:预测为正样本,实际为负样本的特征数(错预测为正样本了,所以叫False)(3)True Negatives,TN:预测为负样本,实际也为负样本的特征数(4)False Negatives,FN:预测为负样本,实际为正样本的特征原创 2017-03-15 11:29:01 · 1514 阅读 · 0 评论 -
SVM(支持向量机)
1、起源于“最大间隔分类器”。2、定义“几何间隔”和“函数间隔”对问题进行建模,对原始优化问题的一步步简化成更简单可行的优化问题。3、利用对偶和KKT条件将优化问题华为对偶优化问题。4、利用序列最小最优(SMO)算法求解对偶问题,得到参数的最终结果。1*:针对线性不可分的情况,提出了核(kernel)的概念,使得SVM具有非线性分类的能力。2*:为了提高SVM的泛化能力原创 2017-03-09 09:51:20 · 286 阅读 · 0 评论 -
概率图模型及序列标注
概率图模型是一类用图来表达变量相关关系的概率模型。以图作为表示工具,最常见的使用一个节点表示一个或一组随机变量,节点之间的边表示变量间的概率相关关系,即“变量关系图”。概率图模型大致分为两类:1、贝叶斯网(Bayesian network):使用有向无环图表示变量间的依赖关系,又称为信念网络(belief network)或者有向无环图模型;2、 马尔科夫网(Markov network)原创 2017-03-14 14:51:35 · 1705 阅读 · 0 评论 -
优化算法汇总
梯度下降算法(最速下降算法)牛顿法SMO算法坐标上升法原创 2017-03-13 18:42:40 · 471 阅读 · 0 评论 -
《机器学习》公开课——监督学习内容总结
线性回归,局部加权回归最小二乘法梯度下降(最速下降)逻辑回归牛顿法广义线性模型softmax回归生成学习模型、判别学习模型GDA朴素贝叶斯神经网络SVM线性分类器:在高维空间中找到一超平面,将样本空间划分成两个或多个区域。贝叶斯分类器:是一类以贝叶斯定理为基础的算法的总称。有些是线性分类器,有些则不是。朴素贝叶斯分类器:是一类贝叶斯分原创 2017-03-09 10:09:21 · 626 阅读 · 0 评论 -
激活函数
有四种:sigmoid、tanh、softplus、ReLU;图形如下:原创 2017-03-14 15:36:28 · 545 阅读 · 0 评论 -
机器学习算法简称汇总
LR:logistic regression(逻辑回归)LDA:linear discriminative analysis(线性判别分析)PCA:princical component analysis(主成分分析)EM:expectation maximumSMO:sequential minimal optimal(序列最小最优)NBC:naive Bayesian cl原创 2017-03-12 21:01:45 · 3155 阅读 · 0 评论 -
ML ME MAP
参考:http://blog.csdn.net/polly_yang/article/details/9716591ML:极大似然估计ME:最大熵贝叶斯准则(MAP:最大后验概率)知道分布,不知道先验信息时使用ML;不知道分布,有先验信息时使用ME;知道分布和先验信息时使用贝叶斯准则(简化为MAP)原创 2017-03-16 08:59:54 · 617 阅读 · 0 评论 -
协同过滤
参考:http://www.cnblogs.com/wentingtu/archive/2011/12/16/2289926.html协同过滤是用在搜索引擎中的,用来向用户推荐产品。可以分为:基于用户的协同过滤推荐、基于项目的系统过滤推荐、基于模型的协同过滤推荐;基于用户的协同过滤:根据用户对商品的喜爱情况将用户划分为同一类,然后将A喜欢的商品推荐给同一类中的B;基于项目的协同过滤原创 2017-03-15 16:35:56 · 365 阅读 · 0 评论 -
Learning Theory(Error Theory) 学习笔记
1、样本复杂度、模型复杂度(model complexity)、泛化(generalization)能力定义:样本复杂度 = 样本的数量模型复杂度:一般用参数的个数来表征泛化能力:代表模型的预测能力,表征模型的好坏,用泛化误差来表示。2、误差(error)、偏差(bias)、方差(variance)定义:假设有很多组采样点,每组采样点都拟合一次模型,得到原创 2017-03-08 15:54:24 · 3347 阅读 · 0 评论 -
分类算法总结
决策树原创 2017-03-09 10:53:04 · 364 阅读 · 0 评论 -
EM算法及各种学习方法的比较
1、判别学习模型、生成学习模型、贝叶斯统计与规则化、EM算法判别学习模型、生成学习模型、EM算法:默认参数theta是固定值,根据抽样数据对参数做极大似然估计。贝叶斯统计与规则化:默认参数theta是随机变量,计算theta的最大后验概率(Maximum a posterior,MAP)。判别学习模型:原创 2017-03-10 09:34:49 · 884 阅读 · 0 评论 -
集成学习
一、决策树:1、决策树本质2、ID3算法3、C4.54、剪枝二、随机森林 随机森林是一种多功能的机器学习算法,能够执行回归和分类、降维的任务。优点:综述:原创 2017-03-12 22:16:33 · 734 阅读 · 0 评论 -
机器学习及神经网络发展历程
“从样例中学习”、“在问题求解和规划中学习”、“通过观察和发现学习”、“从指令中学习”“归纳学习”、“类比学习”、“示教学习”、“机械学习”归纳学习 = 从样例中学习:从训练样例中归纳出结果。现在的学习方法用的方法都是归纳学习。归纳学习分为下面3类:连接主义:感知机、神经网络、深度学习;符号主义:决策树;统计学习:SVM;原创 2017-03-13 22:32:49 · 1125 阅读 · 0 评论 -
K-means 和 KNN
具体可以参考博客:http://blog.csdn.net/loadstar_kun/article/details/39450615原创 2017-03-14 20:58:03 · 624 阅读 · 0 评论 -
Normalization、Standardization and Regularization
1、NormalizationOn one hand,normalization rescales the values into a range of [0,1]. This might be useful in some cases where all parameters need to have the same positive scale. However, the outli原创 2018-01-28 16:24:21 · 583 阅读 · 0 评论