Taylor Wu的专栏

线性回归处理连续变量预测假设m个样本（x1,y1）....(xm,ym)h(x)=θ0*x0+θ1*x1+...+θm*xm   预测值J( θ)= ∑1/2*（yi-h(xi)）^2  为误差，使得J( θ)最小即可对J( θ)求偏导，并令∂J( θ)/∂θ = 0即可另一种方法是梯度下降。令θ=（0,0,0，...0）θ  = θ - α * ∂J( θ)/∂θ

原文地址：http://blog.csdn.net/andrewseu/article/details/46789121本讲大纲：1.生成学习算法（Generative learning algorithm）2.高斯判别分析（GDA，Gaussian Discriminant Analysis） 3.朴素贝叶斯（Naive Bayes） 4.拉普拉斯平滑（Laplace

机器学习笔记2——参数学习、非参数学习、局部加权线性回归、线性回归的概率解释、logistics回归

核函数在节中，我们的SVM分类器可以实现分类了  对于一个新的样本x，我们只需要计算这个新样本与训练集的內积即可，而且只会计算支持向量的內积，因为其他向量的=0。实际上，对于一个线性不可分样本集，我们一般做法是将其映射到更高甚至无限高的维度空间，来在高维情况下进行SVM分类例如 这时，我们用代替x即可。并令 其中即被称为核函数假设，

地址：http://xiaoyc.com/duality-theory-for-optimization/

本讲大纲：1.最优间隔分类器(optimal margin classifier) 2.原始/对偶优化问题（KKT）（primal/dual optimization problem） 3.SVM对偶(SVM dual) 4.核方法(kernels)(简要，下一讲详细)1.最优间隔分类器假设给我们的数据集是线性可分的(linearly separable). 就是说用超平面

本篇是写在SVM之前的关于优化问题的一点知识，在SVM中会用到。考虑到SVM之复杂，将其中优化方面基础知识提出，单作此篇。所以，本文也不会涉及优化问题的许多深层问题，只是个人知识范围内所了解的SVM中涉及到的优化问题基础。一、凸优化问题在优化问题中，凸优化问题由于具有优良的性质（局部最优解即是全局最优解），受到广泛研究。对于一个含约束的优化问题：{minxf(x)s.t.x∈C

先抛开上面的二次规划问题，先来看看存在等式约束的极值问题求法，比如下面的最优化问题：            目标函数是f(w)，下面是等式约束。通常解法是引入拉格朗日算子，这里使用来表示算子，得到拉格朗日公式为            L是等式约束的个数。    然后分别对w和求偏导，使得偏导数等于0，然后解出w和。至于为什么引入拉格朗日算子可以求出极值，原因

阅读目录1. 拉格朗日乘数法的基本思想2. 数学实例3. 拉格朗日乘数法的基本形态4. 拉格朗日乘数法与KKT条件　　拉格朗日乘数法（Lagrange Multiplier Method）之前听数学老师授课的时候就是一知半解，现在越发感觉拉格朗日乘数法应用的广泛性，所以特意抽时间学习了麻省理工学院的在线数学课程。新学到的知识一定要立刻记录下来，希望对各位博友有些许帮助。回到顶部

原文地址：http://blog.csdn.net/andrewseu/article/details/46771947本讲大纲：1.牛顿方法(Newton’s method) 2.指数族(Exponential family) 3.广义线性模型(Generalized linear models)1.牛顿方法假设有函数：，我们希望找到满足的值. 这里是实数.牛

1 时间序列与时间序列分析在生产和科学研究中，对某一个或者一组变量 x(t) 进行观察测量，将在一系列时刻 t1,t2,⋯,tn 所得到的离散数字组成的序列集合，称之为时间序列。 时间序列分析是根据系统观察得到的时间序列数据，通过曲线拟合和参数估计来建立数学模型的理论和方法。时间序列分析常用于国民宏观经济控制、市场潜力预测、气象预测、农作物害虫灾害预报等各个方面。2 时间序列建