![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
vvyuervv
!!!!!!!!!!!!!!!!!!!
展开
-
机器学习-组合算法总结
组合模型下面简单的介绍下Bootstraping, Bagging, Boosting, AdaBoost, RandomForest 和Gradient boosting这些组合型算法.1.BootstrapingBootstraping: 名字来自成语“pull up by your own bootstraps”,意思就是依靠你自己的资源,称为自助法,它是一种有放回的抽样方法,它是非参数统计转载 2017-03-27 15:07:27 · 1127 阅读 · 0 评论 -
Python实现knn
#coding:utf-8import numpy as npimport operatorimport osdef classify0(inX, dataSet, labels, k): dataSetSize = dataSet.shape[0] diffMat = np.tile(inX,(dataSetSize,1)) - dataSet原创 2017-03-13 18:56:51 · 442 阅读 · 0 评论 -
常见机器学习算法比较
本文转载自:http://www.afenxi.com/post/20664 摘要:机器学习算法太多了,分类、回归、聚类、推荐、图像识别领域等等,要想找到一个合适算法真的不容易,所以在实际应用中,我们一般都是采用启发式学习方式来实验。本文主要回顾下几个常用算法的适应场景及其优缺点!(提示:部分内容摘自网络)。机器学习算法太多了,分类、回归、聚类、推荐、图像识别领域等等,要想找到一个原创 2017-03-13 18:56:40 · 520 阅读 · 0 评论 -
梯度下降法
梯度下降法(gradient descent):是求解无约束最优化问题的一种常用的方法。是一种迭代算法。 输入: 目标函数f(x), 梯度函数g(x) = ▽f(x) , 计算精度 ε;输出: f(x) 的极小点x*。(1) 取初始值x(k) 属于Rn,置k= 0(2) 计算f(x(k) )(3) 计算梯度gk=g(x(k) ),当|| gk|| * = x(k);否则,令原创 2017-03-13 18:55:45 · 417 阅读 · 0 评论 -
Machine Learning--决策树(一)
决策树(decision tree):是机器学习常见的算法之一。是基于树形结构进行决策的。讲决策树就要提到“信息熵”、“信息增益”、“增益率”和“基尼指数”的概念。我们先来介绍一下这几个概念:(讲解针对离散型数据,连续型暂时不讲)信息熵(information entropy):是度量样本集合纯度的一种指标。本文使用Ent表示。 其中,D表示样本集合(比如现有100个苹果的数原创 2017-03-13 18:55:25 · 470 阅读 · 0 评论 -
交叉熵代价函数求梯度的推导
一直都不太理解使用交叉熵代价函数和使用二次代价函数的求梯度的公式为什么是一样的? 今天手动推导了一遍,交叉熵函数中的log理解为ln时,刚好是一样的。原创 2017-03-14 14:05:13 · 4214 阅读 · 2 评论 -
衡量模型泛化能力的评价标准
性能度量:衡量模型泛化能力的评价标准。模型的“好坏”是相对的,他不仅取决于算法和数据,还取决于任务需求。回归任务常用的性能度量是“均方误差”。1. 错误率与精度错误率与精度是分类任务中最常用的两种性能度量。既适用于二分类,也适用于多分类。 错误率:分类错误的样本数占总样本数的比例。 精度 : 分类正确的样本数占总样本数的比例。 精度 + 错误率 = 1 假设,总的样本数为m个,原创 2017-03-23 21:45:54 · 22199 阅读 · 0 评论 -
各种距离
各种距离 在做分类时常常需要估算不同样本之间的相似性度量(SimilarityMeasurement),这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究,甚至关系到分类的正确与否。 本文的目的就是对常用的相似性度量作一个总结。本文目录:1.欧氏距离2.曼哈顿距离3. 切比雪夫距离4.转载 2017-03-26 22:16:27 · 369 阅读 · 0 评论