2018年04月_kabuto_hui

12月 11月 10月 09月 08月 06月 05月 04月 03月 01月

原创从零开始-Machine Learning学习笔记(11)-SVM支持向量机(2)【核函数】

在之前的笔记中，我们假设样本是线性可分的，即存在一个划分超平面能将样本正确分类，然而在实际任务中，原始的样本空间也许不能线性可分。在上一个笔记中提到对于不能线性可分的样本，我们添加了一个松弛变量就完成了对线性不可分的支持向量机的求解。其原理是什么，我将在这个笔记中详细总结。1.核函数对于线性不可分的样本，我们的处理思想是：把这些样本映射到更高的维度中，在高维度中找一个划分超平面...

2018-04-27 16:13:31 496

原创从零开始-Machine Learning学习笔记(10)-SVM支持向量机(1)

1995年，苏联的弗拉基米尔·瓦普尼克(Vladimir N. Vapnik)在Machine Learning上发表了最初的SVM文章。传统的统计模式识别方法只有在样本趋向无穷大时，其性能才有理论的保证。统计学习理论（STL）研究有限样本情况下的机器学习问题。SVM的理论基础就是统计学习理论。 SVM以训练误差作为优化问题的约束条件，以置信范围值最小化作为优化目标，即SVM是一种基于结...

2018-04-25 21:10:58 739

原创从零开始-Machine Learning学习笔记(6)-机器学习性能评估

通常我们建立起一个机器学习系统时，系统的表现不尽如人意。这时就需要想出一些办法来改进系统的性能。但是我们应该从哪些方面去着手改进性能呢？Stanford的Andrew Ng给我们提供了以下的几个思路：获取更多的训练实例(通常有效，但是代价较大)尝试减少特征的数量尝试获得更多的特征尝试增加多项式特征尝试减少归一化程度λλ\lambda尝试增加归一化程度λλ\lambda...

2018-04-24 17:27:06 708

原创从零开始-Machine Learning学习笔记(9)-动态规划01背包算法的python实现

这里我先引用dd大牛的背包九讲中关于01背包算法的讲解。所谓01背包问题可以描述为：有N件物品和一个容量为V的背包。第i件物品的费用是c[i]，价值是w[i]。求解将哪些物品装入背包可使价值总和最大。这是最基础的背包问题，特点是：每种物品仅有一件，可以选择放或不放。情况一: 第i件不放进去，这时所得价值为:f[i-i][v] 情况二: 第i件放进...

2018-04-24 12:19:40 1013 2

原创从零开始-Machine Learning学习笔记(8)-指数平滑及python实现

1. 指数平滑的定义及应用场景指数平滑由布朗提出、他认为时间序列的态势具有稳定性或规则性，所以时间序列可被合理地顺势推延；他认为最近的过去态势，在某种程度上会持续的未来，所以将较大的权数放在最近的资料。指数平滑法是移动平均法中的一种，其特点在于给过去的观测值不一样的权重，即较近期观测值的权数比较远期观测值的权数要大。根据平滑次数不同，指数平滑法分为一次指数平滑法、二次指数平滑法和三次指...

2018-04-21 12:29:07 6844 3

原创从零开始-Machine Learning学习笔记(7)-Linear Regression的python手工实现(不使用第三方库)

从零开始-Machine Learning学习笔记(7)-Linear Regression的python手工实现(不使用第三方库) 最近刚刚做完华为2018软件精英挑战赛，本次比赛不让使用第三库，所以一些算法不得不“手工”实现。所以在不使用第三方库的情况下实现了一些算法并将其整理一下发到了博客上。因为numpy也是第三方库，所以要实现线性回归算法，就不能使用矩阵的操作。当然...

2018-04-19 16:07:14 674

原创从零开始-Machine Learning学习笔记(5)-神经网络

从零开始-Machine Learning学习笔记(5)-神经网络0. 前言神经网络目前使用得最为广泛的定义是“神经网络是具有适应性的简单单元组成的广泛并行互连网络，它的组织能够模拟生物神经系统对真实世界级物体所作出的交互反应”。二十世纪四十年代M-P神经元模型、Hebb学习率，五十年代的感知机、Adaline等成果相继出现，迎来了神经网络发展的第一个高潮期。但是M...

2018-04-10 17:54:08 1590 2