支持向量机通俗导论（一）

欢饮大家关注并查看原文大神----------v_JULY_v--------https://blog.csdn.net/v_july_v/article/details/7624837

------------------------向量机是啥我也不大清楚------------------------------------------------------
-------不过之前做过点机器学习的笔记拿来做做笔记，仅供自己学习使用-------------

首先需要一点统计学和概率论的基础知识-------

首先我们需要知道向量范数的基本概念：重点是向量我们知道向量范数是一个函数，满足三个特征
：非负性，齐次性和三角不等式

我们常用的向量范数有四种

• L1范数
  也叫做曼哈顿距离（就是在欧几里得空间的固定的直角坐标系上两点所形成的线段对轴产生的投影的距离总和）

• L2范数也叫做欧式距离

• Lp范数为x向量各个元素的绝对值p次方和的1/p次方

• L无穷范数：x向量是各个元素绝对值最大那个元素的绝对值（切比雪夫距离）
  ---------------------------------------------------------手动分割线--------------------------------------

那么何为机器学习
通俗来说就是模型对外界的训练样本做出评价的标准
其中我们对样本的操作可以分为逻辑回归和线性回归

1. 逻辑回归就是有监督的统计学方法，是映射到离散函数的广义详线性回归模型。
2. 在逻辑回归中我们需要了解的一个名词就是阈值，阈值包括交叉熵和代价函数，代价函数也叫损失函数，训练模型的过程就是优化代价函数的过程，优化过程中对每一个参数的偏导数就是梯度下降的梯度
3. 对于交叉熵来讲它主要包括两个部分

信息量，一个事件发生的概率越大则它所携带的信息量越小
熵：对于一个随机变量x而言，它的所有可能的取值的信息量的期望称之为熵。

我去，看得我这个基础不好得真tm吃力，云里雾里得，先插个眼，以后继续锤它

需要去打打数学基础再回来看看或许会好很多

1. 最小二乘法
2. 特征值与特征向量
3. MIT数学中的微分方程课程
4. 凸二次规划
5. QP优化包
6. 拉格朗日对偶性
7. 对偶问题
8. 拉格朗日乘子
9. 拉格朗日函数
   10.KKT条件
   SMO算法

最后再给些推荐：http://blog.pluskid.org/?page_id=683
SVM入门系列Jasper868.html
http://www.blogjava.net/zhenandaci/category/31
正太分布的前世今生
http://t.cn/zlH3Ygc;
统计学习方法 李航