Pinthon35-CSDN博客

原创拉格朗日乘子法的证明

拉格朗日乘子法的证明在学习支持向量机的时候，计算对偶问题时用到了拉格朗日乘子法((Lagrange multiplier method))，回想起高中时使用拉格朗日乘子法求不等式约束条件下的最优化问题时的困惑，虽然一直知道用，但是却不知道为什么拉格朗日乘子法能够用。知其然更应知其所以然，本文就来扒一扒“拉格朗日乘子法”的来龙去脉。等式约束下的最优化问题给定一个不等式约束条件下的最优化问题，

2017-06-19 09:02:34 3786 1

转载现实•理论•证据──谈如何做研究和写论文

现实·理论·证据──谈如何做研究和写论文陆铭*今天这个题目，如果由一个研究比我做得更好的人来讲可能更有好处。但是现在来讲这样题目的人太少了，所以我愿意来把一些不是很成熟的想法与大家分享，也非常感谢大家来听我的讲座。我今天讲座的题目是《现实·理论·证据》，这三个词摆放的位置基本上概括了今天晚上所有要讲的东西。如果你们听完之后明白了我为什么这样摆放三个词的位置，我想你们就听明白我所讲的意

2017-06-19 09:02:20 1928

原创高维度下的数据科学——线性空间（下）

矩阵实质上是一种坐标变换对于单位矩阵坐标基，上的向量x（x1, x2,...xn）对于基(a1, a2...an), 两个基的互相表示为 (a1, a2...an) = I * (a1, a2...an)将向量x的坐标转移到（a1,a2...an）上，（a1,a2...an）y = I x ====> y=[（a1,a2...an） ]^(-1)*x假如：A=[（a1,a2...an） ]

2017-06-19 09:02:15 667

原创线性模型——异方差、序列相关、多重共线性与内生性的处理

在实际的计量经济学问题中，完全满足回归的基本假设的情况并不多见。不满足基本假定的情况。称为违背基本假定违背基本假定的情况主要包括：随机干扰项存在异方差随机干扰项的序列相关（或称自相关）解释变量之间的多重共线解释变量为随机变量，存在内生性异方差性线性模型的基本假设中有var(u|x1,x2...xk)=d，即随机干扰项的方差不因自变量的不同而不同。表现在现实的经济生活中，以消费

2017-06-19 09:02:12 23905 1

原创约束条件下的多元回归

普通的线性约束假设有如下的回归模型y=x0+b1x1+b2x2+…bn*xn回归模型中有许多的参数, 假设我们猜测总体的参数中有约束条件如下:b1+b2=1，那么我们可以用样本数据来对这个约束假设进行验证么?答案当然是可以。其思想为我们将约束条件放在模型中,产生一个新的模型，该模型只有K一1个参数(因为约束条件,减少了一个自由的参数)，如果假设为真，总体中真的存在参数的约束，那么原模型的估计

2017-06-19 09:02:07 7540

原创高维度下的数据科学—线性空间（上）

使得集合Y的元素和集合X的元素相对应起来的规则f。广义的概念：电影票也是一种映射，发工资也是一种映射，男女朋友也是映射。只要有对应关系，我么就可以认为是映射。映射这个概念就是发明用来对自然界和社会上对应关系的一种抽象。非常需要注意的是：一定要记住：映射的概念是非常广泛的一个概念，任何两种有关系的事物都可以用映射的概念进行描述，比如张三映射到高三一班，高纬度向量映射到低维度空间。映射

2017-06-19 09:02:03 917

原创多重共线性的解决方法之——岭回归与LASSO

多元线性回归模型的最小二乘估计结果为如果存在较强的共线性，即中各列向量之间存在较强的相关性，会导致的从而引起对角线上的值很大并且不一样的样本也会导致参数估计值变化非常大。即参数估计量的方差也增大，对参数的估计会不准确。因此，是否可以删除掉一些相关性较强的变量呢？如果p个变量之间具有较强的相关性，那么又应当删除哪几个是比较好的呢？本文介绍两种方法能够判断如何对具有

2017-06-19 09:02:00 6293 1

原创多元线性回归的预测

回归模型除了对参数进行估计和检验，以弄清楚变量的相关性和因果性之外，另一个目的便是进行预测。　　那么，由OLS方法的出来的预测结果是否可靠呢？预测结果的可靠性又会受什么因素的影响呢？除了点估计的预测结果，能否有区间估计的预测结果呢？　　本文就这些问题，来进行一一探讨 1.引入why？　　回归模型除了对参数进行估计和检验，以弄清楚变量的相关性和因果性之外，另一个目的便是进行预测。

2017-06-19 09:01:55 10787

原创多元线性回归 ——模型、估计、检验与预测

一、模型假设传统多元线性回归模型最重要的假设的原理为： 1. 自变量和因变量之间存在多元线性关系，因变量y能够被x1,x2….x{k}完全地线性解释；2.不能被解释的部分则为纯粹的无法观测到的误差其它假设主要为： 1.模型线性，设定正确； 2.无多重共线性； 3.无内生性； 4.随机误差项具有条件零均值、同方差、以及无自相关； 5.随机误差项正态分布具体见另一篇文章：回归模型的

2017-06-19 09:01:50 9345

原创多元线性回归模型的几何意义

模型设定与假设多元线性回归与一元线性回归在思想上并没有太大的不同，不过是多了一些变量罢了。考虑问题的角度要从之前的二维空间进阶到高维空间。传统的多元线性回归模型可以用矩阵来描述。按照OLS估计方法得出的多元线性回归的参数结果为对于该式而言Y的估计值其实正是n维向量Y 在n*k维矩阵（不存在向量自相关）所张成的k维空间上的正交投影。正交投影是什么？使用余

2017-06-19 09:01:45 9892

原创矩阵运算基础——余弦距离与欧式距离

1、余弦距离余弦距离，也称为余弦相似度，是用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小的度量。向量，是多维空间中有方向的线段，如果两个向量的方向一致，即夹角接近零，那么这两个向量就相近。而要确定两个向量方向是否一致，这就要用到余弦定理计算向量的夹角。余弦定理描述了三角形中任何一个夹角和三个边的关系。给定三角形的三条边，可以使用余弦定理求出三角形各个角的角度。假定三角形的

2017-06-19 09:01:40 11038 2

拉格朗日乘子法的证明在学习支持向量机的时候，计算对偶问题时用到了拉格朗日乘子法((Lagrange multiplier method))，回想起高中时使用拉格朗日乘子法求不等式约束条件下的最优化问题时的困惑，虽然一直知道用，但是却不知道为什么拉格朗日乘子法能够用。知其然更应知其所以然，本文就来扒一扒“拉格朗日乘子法”的来龙去脉。等式约束下的最优化问题给定一个不等式约束条件下的最优化问题，minxf

2017-06-15 18:14:19 21235 2