机器学习算法
墨麟非攻
分享学习,最好的学习方式。勤写博客,广交好友,不要偷懒
展开
-
ID3算法下的决策树
网上的内容感觉又多又乱,自己写一篇决策树算法。希望对别人有所启发,对自己也是一种进步。决策树 须知概念决策树 须知概念熵: 熵(entropy)指的是体系的混乱的程度,在不同的学科中也有引申出的更为具体的定义,是各领域十分重要的参量。信息熵(香农熵): 是一种信息的度量方式,表示信息的混乱程度,也就是说:信息越有序,信息熵越低。例如:火柴有序放在火柴盒里,熵值很低,相反,熵值很高。信息增...原创 2018-11-10 10:52:09 · 361 阅读 · 0 评论 -
AdaBoost-基于错误提升分类器
能否使用弱分类器和多个实例来构建一个强分类器,当然可以!弱分类器:就是分类器的性能比随机猜要略好,但也不会好太多。AdaBoost:adaptive boosting(自适应boosting)的缩写。AdaBoost是一个二分类算法(和SVM一样)运行过程: 1. 训练数据中的每个样本,赋予其权重,这些权重构成向量D。一开始向量D都初始化成相等值 2. 首先在训练数据上训练一个弱分类器...原创 2018-11-23 22:13:45 · 412 阅读 · 0 评论 -
支持向量机-手写识别问题
详情请见我的博客园:添加链接描述原创 2018-11-16 20:09:42 · 210 阅读 · 0 评论 -
支持向量机-完整Platt-SMO算法加速优化
详情请见我的博客园:添加链接描述原创 2018-11-14 20:51:14 · 229 阅读 · 0 评论 -
支持向量机-SMO算法简化版
详情请见我的博客园:添加链接描述原创 2018-11-14 20:49:29 · 223 阅读 · 0 评论 -
k-近邻算法-手写识别系统
详情请见我的博客园:添加链接描述原创 2018-11-18 21:55:14 · 204 阅读 · 0 评论 -
k-近邻算法-优化约会网站的配对效果
详情请见我的博客园:添加链接描述原创 2018-11-18 16:58:27 · 301 阅读 · 0 评论 -
支持向量机-在复杂数据上应用核函数
详情请见我的博客园:添加链接描述原创 2018-11-15 22:05:45 · 255 阅读 · 0 评论 -
支持向量机-引入及原理
支持向量机(Support Vector Machines, SVM):是一种监督学习算法。处理二分类支持向量(Support Vector)就是离分隔超平面最近的那些点。机(Machine)就是表示一种算法,而不是表示机器。线性可分数据集:将数据集分隔开的直线称为分隔超平面。我们希望找到离分隔超平面最近的点,确保它们离分隔面的距离尽可能远,这里点到分隔面的距离被称为间隔(margin)。...原创 2018-11-10 21:23:56 · 188 阅读 · 0 评论 -
Logistic回归
Logistic回归:一种最优化算法。用于分类,其实就是对分类边界线建立回归公式。啥?啥叫回归?就是用一条直线对数据点进行拟合,拟合的过程称作回归。。。。。说白了就是找一条线把数据点分开最优化算法:梯度上升算法和改进的梯度上升算法。。。一听到改进,感觉肯定比原算法牛逼sigmoid函数σ(z)=11+e−z\sigma(z)=\frac{1}{1+e^{-z}}σ(z)=1+e−z1下图...原创 2018-11-10 14:59:41 · 226 阅读 · 0 评论 -
集成方法-概念理解
详情请见我的博客园:添加链接描述原创 2018-12-04 20:17:07 · 249 阅读 · 0 评论