chenzhijay-CSDN博客

原创机器学习优化算法—L-BFGS

L-BFGS算法由于其高效的性能而被广泛运用在实际工程中，本文首先介绍L-BFGS算法和其它算法的比较，然后详细介绍该算法的主要思想以及每一步迭代时近似矩阵的更新细节。

2014-11-27 09:53:21 12324 4

原创浅谈核方法

说到核方法（kernel method）或者核技巧（kernel trick），了解SVM的人一定不会陌生。当数据集线性不可分时，就要用到非线性分类器。SVM采取的做法是将数据映射到更高的维度，从而将数据集在高维空间转化成线性可分的，然后再用线性SVM去训练一个线性分类器。以上做法的实现方式就是通过核方法隐式地实现的。从上面可以看出，核方法是隐式地在高维的特征空间来计算向量的内积。但是本文要讲

2014-11-25 09:32:56 1747

原创特征选择与特征提取

在我刚开始接触机器学习的时候，总会被特征选择（feature selection）与特征提取（feature extraction）这两个概念搞得晕头转向，后来通过阅读scikit-learn的源码后发现这两者实际上是有很大区别的，本文主要介绍二者的区别。

2014-11-19 16:49:03 19279 9

机器学习的问题最终都会归结为对一个优化问题进行求解，而优化问题可以分为无约束优化问题和有约束优化问题。有约束的优化问题是指对于目标函数中的变量有显式约束条件的，比如0<=x<=100。无约束优化问题是指对于目标函数的变量没有显式约束的，或者说可以将约束转化成目标函数的惩罚项的，比如说正则化项。大多数机器学习问题最终都要解一个无约束的优化问题，因此本文主要对无约束优化问题及其优化算法做一个概述。下文提到的优化问题都指无约束优化问题。提到优化问题，自然就要知道优化算法。

2014-11-13 19:42:58 3265 2

原创模型选择之特征选择

当我们在训练模型时，其中一个很重要的部分是训练模型的参数，也就是模型中各个特征的值，不同的模型具有不同的特征组合，因此对于特征的选择也就对应了模型的选择。举个文本分类的例子，在文本分类的任务中，特征数量p远大于训练样本数n，而我们又知道特征里面有很大一部分是和类别无关的，因此我们就会想到用特征选择来把与类别相关的特征选出来。对于p个特征，会出现2p种特征的组合，也就对应了2p个模型，我们只要选择一

2014-11-12 15:03:18 7287 1

原创模型选择之交叉验证

在机器学习的模型训练中，我们通常需要比较多个模型，从中选出一个最优的模型作为我们的最终模型。我们知道，超参数（hyper parameter）经常会作为模型的一个组成部分出现，比如说，在正则化后的logistic regression中，正则项和损失函数之间的参数t就是一个超参数，不同的t取值对应了不同的模型，我们对于t的选取实际上也就是对模型的选择，我们试图找到一个t，使得t对应的模型最优。再比

2014-11-11 15:28:42 7083 2

翻译 topcoder算法教程翻译系列之动态规划

本文翻译自topcoder的算法教程http://help.topcoder.com/data-science/competing-in-algorithm-challenges/algorithm-tutorials/dynamic-programming-from-novice-to-advanced/ 有相当一部分问题可以用动态规划（dynamic programing）来解决，下面

2014-11-08 19:47:30 1989

原创 EM算法的证明

上篇文章说了一些EM算法的原理性东西以及简单的应用，在平时的学习中，确实感觉EM算法太重要了，所以本文将对EM算法的合理性作一个解释，并给出其收敛性的证明。在上一篇文章中，我们提到了EM算法是解决含有隐变量的概率模型参数极大似然估计的方法。不过我们可能会问，为什么在求解完全数据的对数似然函数的期望时要用到隐变量Z的后验概率？为什么EM算法就一定能够保证收敛？下面我们来解决这些问题。这里，我

2014-11-04 16:14:55 2606

原创 EM算法

我们知道在机器学习中，很多时候问题都可以归结为一个最优化问题，而要解决这个最优化问题只需要求解出模型参数即可。大多数时候，只要给定数据可以直接用极大似然估计法估计模型参数。但是当模型里含有隐变量的时候，直接求解参数的极大似然估计就会失效。这时，就需要用到EM算法来对参数进行迭代求解。EM算法说白了也是求参数的极大似然估计，只不过它解决的问题是含有隐变量的模型参数的极大似然估计。EM算法是一个十

2014-11-03 20:06:13 1741

原创机器学习中的正则化技术

正则化（regularization）技术是机器学习中十分常用的技术，它用于防止模型过拟合，从而提高模型的泛化能力。本文主要介绍L1正则化和L2正则化以及它们在实际应用中的不同点。

2014-10-31 14:14:40 7437 1

原创图论系列之最短路径

图的最短路径是图论里非常常见的问题，无论是平时刷题，还是实际领域里，很多都会涉及到图论中的最短路径。比如，分布式系统，复杂网络等。特别地，在GIS（地理信息系统）里，最短路径的问题更是很常见了。总的来讲，图论中的最短路径大致分为两种：第一种为单源最短路径，第二种为每对顶点之间的最短路径。单源最短路径对于单源最短路径，我们可以根据图是否带权以及权重值的正负来选择不同的算法。这里主要讲三种

2014-07-15 20:40:59 2028 1

原创浅谈数据存储之大端法和小端法

说到大端法和小端法，就不得不提到数据在计算机内部的存储。首先，大多数计算机是使用一个字节作为可寻址的最小存储单位，也就是说，一个内存地址指向的存储空间的容量是一个字节，而我们可以把整个计算机的内存抽象为一个非常大的字节数组，数组的每一个元素占一个字节，并且都可以用唯一的数字来标识，这些数字即是我们平常说的内存地址。如果说要存储的对象都是一个字节，那么用数组的一个元素就能存储，但假如要存储的对象

2014-04-09 00:58:37 1860 1

陈志杰的专栏