peghoty

作者: peghoty 出处: http://blog.csdn.net/peghoty/article/details/9079973 欢迎转载/分享, 但请务必声明文章出处.

Martin A. Zinkevich 等人（Yahoo！Lab）合作的论文 Parallelized Stochastic Gradient Descent 中给出了一种适合于 MapReduce 的并行随机梯度下降法，并给出了相应的收敛性分析。这里忽略理论部分，根据自己的理解给出文中所提并行随机梯度下降法的描述。

机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。

朋友@耗子突然问起我一个 Lagrange 插值公式的问题，发现几年没碰差不多要忘干净了，于是找了本教科书来翻了翻，顺便把几个要点整理成文，以备日后查阅。作者: peghoty 出处: http://blog.csdn.net/itplus/article/details/22827961欢迎转载/分享, 但请务必声明文章出处.

机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。

机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。

机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。

机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。

本系列文章摘自 52nlp（我爱自然语言处理: http://www.52nlp.cn/），原文链接在HMM 学习最佳范例，这是针对国外网站上一个 HMM 教程的翻译，作者功底很深，翻译得很精彩，且在原文的基础上还提供了若干程序实例，是初学者入门 HMM 的好材料。原文中存在若干笔误，这里结合HMM 学习最佳范例的作者和读者的建议，一并做了修改，供大家参考。

本系列文章摘自 52nlp（我爱自然语言处理: http://www.52nlp.cn/），原文链接在HMM 学习最佳范例，这是针对国外网站上一个 HMM 教程的翻译，作者功底很深，翻译得很精彩，且在原文的基础上还提供了若干程序实例，是初学者入门 HMM 的好材料。原文中存在若干笔误，这里结合HMM 学习最佳范例的作者和读者的建议，一并做了修改，供大家参考。

本系列文章摘自 52nlp（我爱自然语言处理: http://www.52nlp.cn/），原文链接在HMM 学习最佳范例，这是针对国外网站上一个 HMM 教程的翻译，作者功底很深，翻译得很精彩，且在原文的基础上还提供了若干程序实例，是初学者入门 HMM 的好材料。原文中存在若干笔误，这里结合HMM 学习最佳范例的作者和读者的建议，一并做了修改，供大家参考。

本系列文章摘自 52nlp（我爱自然语言处理: http://www.52nlp.cn/），原文链接在HMM 学习最佳范例，这是针对国外网站上一个 HMM 教程的翻译，作者功底很深，翻译得很精彩，且在原文的基础上还提供了若干程序实例，是初学者入门 HMM 的好材料。原文中存在若干笔误，这里结合HMM 学习最佳范例的作者和读者的建议，一并做了修改，供大家参考。

本系列文章摘自 52nlp（我爱自然语言处理:http://www.52nlp.cn/），原文链接在HMM 学习最佳范例，这是针对国外网站上一个 HMM 教程的翻译，作者功底很深，翻译得很精彩，且在原文的基础上还提供了若干程序实例，是初学者入门 HMM 的好材料。原文中存在若干笔误，这里结合HMM 学习最佳范例的作者和读者的建议，一并做了修改，供大家参考。 本系列文章摘自 52nl

本系列文章摘自 52nlp（我爱自然语言处理: http://www.52nlp.cn/），原文链接在HMM 学习最佳范例，这是针对国外网站上一个 HMM 教程的翻译，作者功底很深，翻译得很精彩，且在原文的基础上还提供了若干程序实例，是初学者入门 HMM 的好材料。原文中存在若干笔误，这里结合HMM 学习最佳范例的作者和读者的建议，一并做了修改，供大家参考。

本文整理自 @老师木 的一条图片新浪微博，从另一个角度给出为何采用 sigmoid 函数作非线性变换的解释。为什么我们喜欢用 sigmoid 这类 S 型非线性变换?

本系列文章摘自 52nlp（我爱自然语言处理: http://www.52nlp.cn/），原文链接在HMM 学习最佳范例，这是针对国外网站上一个 HMM 教程的翻译，作者功底很深，翻译得很精彩，且在原文的基础上还提供了若干程序实例，是初学者入门 HMM 的好材料。原文中存在若干笔误，这里结合HMM 学习最佳范例的作者和读者的建议，一并做了修改，供大家参考。

在《主成分分析》中，我们用到了协方差矩阵，但当时并没有对其进行深入的讨论。为此，本文将针对协方差矩阵做一个详细的介绍，其中包括协方差矩阵的定义、数学意义以及计算公式的推导。