2014年04月_llwszjj

12月 10月 09月 08月 07月 05月 04月 03月 01月

原创最优间隔分类器问题

最优间隔分类器问题本次课程大纲： 1、最优间隔分类器 2、原始优化问题&对偶优化问题（KKT条件） 3、 SVM对偶问题 4、核方法（下一讲）复习：支撑向量机中改动的符号：输出y∈{-1,+1} h输出的假设值也改为{-1,+1} g(z) = { 1 , 如果z>=0; -1, 如果z hw.b(x)=g

2014-04-14 11:34:52 2432

原创朴素贝叶斯

朴素贝叶斯本次课程大纲： 1、朴素贝叶斯 - 朴素贝叶斯事件模型 2、神经网络（简要） 3、支撑向量机（SVM）铺垫 – 最大间隔分类器复习： 1、朴素贝叶斯一种生成学习算法，对p(x|y)建模。例：垃圾邮件分类以邮件输入流作为输入，输出y为{0,1}，1为垃圾邮件，0为非垃圾邮件。

2014-04-14 09:08:58 1121

原创生成学习算法

生成学习算法本次课程大纲： 1、生成学习算法 2、高斯判别分析（GDA，Gaussian Discriminant Analysis） - 高斯分布（简要） - 对比生成学习算法&判别学习算法（简要） 3、朴素贝叶斯 4、 Laplace平滑复习：分类算法：给出一个训练集，若使用logi

2014-04-13 20:51:46 2129

原创牛顿方法

牛顿方法本次课程大纲： 1、牛顿方法：对Logistic模型进行拟合 2、指数分布族 3、广义线性模型（GLM）：联系Logistic回归和最小二乘模型复习： Logistic回归：分类算法假设给定x以为参数的y=1和y=0的概率：求对数似然性：对其求偏导数，应用梯度

2014-04-13 16:57:06 655

原创欠拟合与过拟合概念

欠拟合与过拟合概念本次课程大纲： 1、局部加权回归：线性回归的变化版本 2、概率解释：另一种可能的对于线性回归的解释 3、 Logistic回归：基于2的一个分类算法 4、感知器算法：对于3的延伸，简要讲复习： –第i个训练样本令，以参数向量为条件，对于输入x，输出为： n为特征数量

2014-04-13 11:28:14 2116

原创监督学习应用与梯度下降

本课内容： 1、线性回归 2、梯度下降 3、正规方程组（复习）监督学习：告诉算法每个样本的正确答案，学习后的算法对新的输入也能输入正确的答案 1、线性回归例：Alvin汽车，先让人开车，Alvin摄像头观看（训练），而后实现自动驾驶。本质是一个回归问题，汽车尝试预测行驶方向。例：上一节课的

2014-04-12 23:42:45 685

原创机器学习的动机与应用

开始看Andrew Ng的经典课程机器学习，随堂做的学习笔记机器学习的动机与应用工具：需正版：Matlab，免费：Octave 定义（Arthur Samuel 1959）：在不直接针对问题进行编程的情况下，赋予计算机学习能力的研究领域。例：Arthur的下棋程序，计算走每一步获胜的概率，最终打败程序作者本人。（感觉使用决策树思想）

2014-04-12 23:41:38 634

原创奇异值分解（SVD）详解

SVD分解 SVD分解是LSA的数学基础，本文是我的LSA学习笔记的一部分，之所以单独拿出来，是因为SVD可以说是LSA的基础，要理解LSA必须了解SVD，因此将LSA笔记的SVD一节单独作为一篇文章。本节讨论SVD分解相关数学问题，一个分为3个部分，第一部分讨论线性代数中的一些基础知识，第二部分讨论SVD矩阵分解，第三部分讨论低阶近似。本节讨论的矩阵都是实数矩阵。基础知识 1

2014-04-09 17:28:26 582