MyProgramingLife-CSDN博客

原创统计分析：Linear mixed-effects models

Linear mixed-effects models

2015-07-28 23:02:47 13135

原创逻辑回归（logistic regression）

一、数学上的逻辑回归前面提到，逻辑回归是判别分析方法来分类的，即通过给定的数据x, 来直接得到其后验概率。且它得到的是线性分类边界。回顾在贝叶斯准则中，利用0-1损失进行分类时，我们做法是以最大的后验概率的类 k，来作为依据。从而第k 类和第 l 类的分类边界通过使其概率相等来决定：即样本 x 在第k 类和第l 类有相

2015-01-29 20:21:50 1263

原创线性回归（linear regression）

一、似然估计我们要做的是对一些数据进行参数拟合，然后进行预测的过程。在这个过程谁都想要得到最好的参数，并且能够抗干扰性强一些，因此这里就要考虑各种求参数的方法了。对于线性回归，其一般形式为一般都会有截距项w0, 因此在进行估计的时候，我们都会对数据x , 在首列添加1. 进而估计参数w0. 拟合毕竟是估计，总要存在残差的，

2015-01-25 16:34:43 2201 1

转载机器学习稀疏L1正则 - 修正的LARS算法和lasso

一、算法简介在小弟的上一篇文章中，简单的介绍了LARS算法是怎么回事。主要参考的是Efron等人的经典文章least angle regression。在这篇文章中，还提到了一些有趣的看法，比如如何用LARS算法来求解lasso estimate和forward stagewise estimate。这种看法将我对于模型选择的认识提升了一个层次。在这个更高的层次下看回归的变量选择过程，似乎

2015-01-23 16:42:51 2710

转载机器学习稀疏 L1正则解法- LARS算法简介

一、解法理解：比如向前回归，就是先选择和响应最相关的变量，进行最小二乘回归。然后在这个模型的基础上，再选择和此时残差相关度最高的（也就是相关度次高）的变量，加入模型重新最小二乘回归。之后再如法继续，直到在某些度量模型的最优性准则之下达到最优，从而选取一个最优的变量子集进行回归分析，得到的模型是相比原模型更加简便，更易于解释的。这种方法，牺牲了模型准确性（预测有偏），但是提高了模型的精确度（

2015-01-23 16:36:14 1631

原创机器学习稀疏之L1正则化

一、L1正则化在L0 正则化中，通常我们有很多特征时，这样在计算后验形式p(r|D) 有很大的复杂度。即使利用贪心算法，很容易陷入局部拟合情况。其中一部分原因是因为 rj 特征是离散形式的，这样造成目标函数的不光滑，。在优化领域中，通常的做法是对于离散的约束，我们通过松弛的方法来将其变为连续的约束。我们可以在spike-and-slab 尖峰与平波模型中，通过在wj =0，

2015-01-22 10:21:35 7682

原创速学 latex 数学公式

\documentclass[a4paper,10pt]{article}\usepackage{graphicx}\usepackage{amssymb}%opening\title{CS711008Z Assignment 6}\author{Institute of Computing Technology, \\ Chinese Academy of Sciences, Beijing,

2015-01-20 12:52:14 913

原创机器学习稀疏之L0正则化

一 . L0 正则化在我们进行后验表示的时候，我们对 rj = 1, 表示第j 个特征与此后验是相关的，其中后验表达为图片1其中f(r) 为花费函数， f(r) = -[logp(D|r)+ logp(r)]例如假如有N = 20 ， D = 10，进行线性回归模型，其中数据和噪声为正太分布的，图片2，我们一般会要 K 稀疏，表示稀疏的程度。则在K = 5，有5个w

2015-01-17 22:19:22 4561

原创 Stable-Matching

一. 匹配问题PSL is a shipping company that owns n ships and provides service to n ports.Each ship has a schedule thatsays, for each day of the month (m(m > n) days), which of the ports it's currently

2015-01-11 11:00:29 856

原创算法设计与分析- Stable Matching-Gale_Shapley

一. 算法引导稳定匹配算法，在平常相亲活动中，有 n 男, n 女，这时进行相亲活动，就要根据喜好进行优先顺序的排列，每个人都有自己的喜好，因此，这就有最终的匹配是否稳定那，两个人稳定的匹配结婚才会有结果。举个栗子：对于这样的结果那，X 喜欢 B 胜于喜欢 C，同时 B 喜欢 X 胜于喜欢 Z ，这样就会出现不稳定的情况，应该考虑 X-B 的匹配情况。二.

2015-01-11 10:05:51 1026

原创（二）Linear Discriminant Analysis - Part II

（一）正则化的引入（Regularized LDA）在利用线性判别分析进行分类时，在进行协方差估计是得到，这个协方差的估计是一个有偏估计（biased estimates）。因为其协方差是正定的，因此可以进行特征值分解图片2，其逆相应为：我们利用协方差矩阵的逆，来进行分类判别，得到其判别得分函数为可以看到，判别得分对于很小的特征值

2014-12-20 13:19:46 1323

原创 (二) linear discriminant analysis- part I

（一）基础了解产生式分类器对于算法模型，我们学习其模型形式为：，在给定x 时学习其条件分布y，即算法尝试去直接学习由输入X到标签{0, 1}的映射关系，这是discriminative learning algorithms举个栗子：logistic regression (回头讲，重新再看)若我们学习模型为：（和），即如果y 表明0 是

2014-12-12 09:18:43 919

原创（一）朴素贝叶斯学习（2）- binary feature

朴素贝叶斯二值模型，从一步步的推导，到实现程序，以及后续的一些问题的考虑，如 logsumexp 和互信息的特征选择。在后续有对MAP 进行了理解，以及后续的学习总结。

2014-12-02 22:16:04 1316

原创关于VS 2010 LINK : fatal error LNK1123: 转换到 COFF 期间失败: 文件无效或损坏解决方案

一、在安装OpenCV之后，运行程序就出现这句提示： fatal error LNK1123: 转换到 COFF 期间失败: 文件无效或损坏解决方案解决方案：方案1：发现是嵌入清单的问题，于是对该工程以及所有依赖工程进行如下操作：右键->工程属性->配置属性-> 清单工具->输入和输出->嵌入清单，选择[否]或者将项目\属性\配置属性\链接器\清单

2014-11-30 10:29:19 755