天泽28的专栏

K近邻算法（k-nearest neighbor，KNN）经过一周昏天黑地的加班之后，终于到了周末，又感觉到生活如此美好，遂提笔写一写KNN，这个也许是机器学习众多算法中思想最为简单直白的算法了，其分类思想，总结起来就一句话：近朱者赤，近墨者黑。当然，KNN也可以用于回归任务，在回归任务中，采用“平均法”，即把离预测样本最近的K个样本的label（连续值）取平均作为预测结果，也可以根据距离远近进...

朴素贝叶斯模型（naive bayes）在讲具体的原理之前，先说说朴素贝叶斯的几个特点：1、朴素贝叶斯是一种典型的生成式模型，有监督学习可以分为两类：判别模型和生成模型，我们所熟悉的神经网络，支持向量机和logistic regression，决策树等都是判别模型。而朴素贝叶斯和隐马尔可夫模型则属于生成式模型。关于判别式模型和生成式模型的区别这里写一下：判别式模型由数据直接学习 P(y∣x)...

Gated Recurrent Unit（GRU）在上一篇博客里介绍了LSTM（Long Short-Term Memory），博客地址：LSTM（Long Short-Term Memory）。LSTM相比较最基本的RNN，在NLP的很多应用场景下都表现出了很好的性能，至今依然很常用。但是，LSTM存在一个问题，就是计算开销比较大，因为其内部结构相对复杂。GRU 也是为了旨在解决标准 RNN ...

推荐一个数据集——Fashion-MNIST        今天看到女票大人在做project，还在用mnist手写体识别的数据集（链接：http://yann.lecun

深度学习中优化方法—momentum、Nesterov Momentum、AdaGrad、Adadelta、RMSprop、Adam—        我们通常使用梯

注：此篇博客为转载，尊重原创。原文链接地址为：http://blog.csdn.net/longxinchen_ml/article/details/50749614作者： 龙心尘 && 寒小阳 时间：2016年2月。 出处：http://blog.csdn.net/longxinchen_ml/article/details/50749614 http://blog.csdn

逻辑回归正则化 regularized logistic regression关于logistic回归的基础知识请参见我的前两篇博客：逻辑回归（代价函数，梯度下降） logistic regression--cost function and gradient descent  和 逻辑回归之决策边界 logistic regression -- decision boundary  。l

线性回归正则化 regularized linear regression在前几篇博客中介绍了一元线性回归http://blog.csdn.net/u012328159/article/details/50994095和多元线性回归http://blog.csdn.net/u012328159/article/details/51029695等线性回归的知识，具体请参见本人其他博客。但

神经网络入门基础知识 neural networks basics也许现在提到深度学习（deep learning）连非计算机专业的人都听说过，尤其是最近“人机大战”更是掀起了人们对深度学习的极大关注。而深度学习则源于神经网络的研究。神经网络其实是一门相对古老的算法，它最初产生的目的是制造能够模拟这个星球最复杂的东西“人脑”的机器，但是神经网络的发展也是几经波折，下面引用周志华大牛《机

支持向量机SVM支持向量机（support vector machine，SVM）是由Cortes和Vapnik在1995年提出的，由于其在文本分类和高维数据中强大的性能，很快就成为机器学习的主流技术，并直接掀起了“统计学习”在2000年前后的高潮，是迄今为止使用的最广的学习算法。本篇将要简要的介绍一下SVM，如有错误请批评指正，共同学习。本文主要分为以下几个部分：SV

神经网络之BP算法，梯度检验，参数随机初始化neural network(BackPropagation algorithm,gradient checking,random initialization)一、代价函数(cost function)对于训练集，代价函数（cost function）定义为：其中红色方框圈起的部分为正则项，k：输出单

应用机器学习的一些建议（advice for applying machine learning）在前几篇博客中分别介绍了线性回归，逻辑回归，神经网络的一些知识。但是，假如你想要开发一个机器学习系统或者改进一个机器系统性能的时候该怎么办？下面介绍一些方法和建议。如果你的假设函数在测试集上表现出很大的误差，那你接下来该怎么改进呢，一般会想到以下方法：但是，有了以上方法我们该如

不平衡学习算法的评估指标先来看下类不平衡的定义：对于二元分类问题，存在类别分布不平衡的问题，即某一类别的样本数量远远多于另一类（分别称为多数类和少数类）。具有这样特征的二元分类数据集被称为不平衡的（Imbalanced Data），有时候也称（skewed data）。分类错误率作为传统分类学习的评估指标，显然无法适应于不平衡分类问题。至于为什么，这里给大家举个例子解释一下：

逻辑回归（代价函数，梯度下降） logistic regression--cost function and gradient descent对于有m个样本的训练集 ,。在上篇介绍决策边界的时候已经介绍过了在logistic回归中的假设函数为： 。因此我们定义logistic回归的代价函数（cost function）为： , 下面来解释下这两个公式，先来看y=1时， ，画出的

线性回归之向量化 linear regression -- vectorization在线性回归中，通过梯度下降不停的迭代以减少代价函数的值,来拟合出一个效果较好的模型。代价函数如下所示，其中:数据集为m个样本，n个特征。先看，在matlab / octave中，我们完全可以把它转化为矩阵运算，而不用使用for循环去解决。因此：对于m个样本n个特征的数据集来

正规方程 Normal Equation前几篇博客介绍了一些梯度下降的实用技巧，特征缩放（详见http://blog.csdn.net/u012328159/article/details/51030366）和学习率（详见http://blog.csdn.net/u012328159/article/details/51030961）。在线性回归中，为了求得参数的最优值，一般采用梯度下

声明：本文为转载，原文地址为：http://blog.csdn.net/abcjennifer/article/details/7691571/尊重原创(一)、Cost Function线性回归是给出一系列点假设拟合直线为h(x)=theta0+theta1*x, 记Cost Function为J(theta0,theta1)之所以说单参数是因为只有一个变量x，即影响回

机器学习中常见的几种优化方法声明：本文为转载，原文作者为：Poll的笔记，原文链接为：http://www.cnblogs.com/maybe2030/p/4751804.html#rd，尊重原创阅读目录1. 梯度下降法（Gradient Descent）2. 牛顿法和拟牛顿法（Newton's method & Quasi-Newton Metho

从机器学习谈起声明：本文为转载，原文作者为：计算机的潜意识，原文链接为http://www.cnblogs.com/subconscious/p/4107357.html,尊重原创在本篇文章中，我将对机器学习做个概要的介绍。本文的目的是能让即便完全不了解机器学习的人也能了解机器学习，并且上手相关的实践。这篇文档也算是EasyPR开发的番外篇，从这里开始，必须对机器学习了解才

特征选择 feature selection终于有时间把好久之前就想写的关于特征选择的基本介绍补上来了，主要想从以下几个方面介绍: 1. 特征选择的动机-为什么要特征选择 2. 常见的特征选择方法-如何特征选择 3. 特征选择的效果 一. 动机 提到特征选择的动机首先要说下维灾难（the curse of dimensionality）,用个图来形象的说明维灾难：

multivariable linear regression多元线性回归上篇转载的博客介绍过一元线性回归（单参数线性回归） Linear Regression with one variable，参见http://blog.csdn.net/u012328159/article/details/50994095 顾名思义，多元就是多个参数。先来复习下一元参数的例子，见下图，不解释了，详细看上

梯度下降实用技巧I之特征缩放 Gradient Descent in practice I - feature scaling当多个特征的范围差距过大时，代价函数的轮廓图会非常的偏斜，如下图左所示，这会导致梯度下降函数收敛的非常慢。因此需要特征缩放(feature scaling)来解决这个问题，特征缩放的目的是把特征的范围缩放到接近的范围。当把特征的范围缩放到接近的范围，就会使偏斜的不那么严

梯度下降实用技巧II之学习率 Gradient descent in practice II -- learning rate梯度下降算法中的学习率（learning rate）很难确定，下面介绍一些寻找的实用技巧。首先看下如何确定你的梯度下降算法正在正常工作：一般是要画出代价函数 和迭代次数之间的图像，如下图所示。如果随着迭代次数的增加不断下降，那么说明梯度下降算法工作的很好，当到达

在postgresql中使用Madlib训练机器学习模型前段时间做数据课的开放性project，从链家上爬了些上海地区二手房的数据，想预估下二手房价格。因为要求用到postgresql\greenplum的特性，正好Madlib使得可以在数据库中直接使用SQL语句训练模型，就用它了。关于Madlib的细节就不多说了，一句话概括下：是一个in-database的机器学习库。下面先说下po

聚类算法很多，如K-means、凝聚层次聚类和DBSCAN等，本篇博客只会介绍K-means（K均值）算法。本篇博客的结构如下：一、详细介绍K-means算法的详细细节二、K-means的优化目标三、K-means初始质心的随机初始化四、如何选择簇的个数K-means算法比较简单，是一种贪心策略的算法。首先，选取K个初始质心（K是用户指定的参数，即簇的个数）。把每个点指派到最近的质心，这样会形成K个点集，每个点集即为一个簇。然后，重新计算每个点集的质心，更新质心。重复以上步骤，直到簇不再发生变化（

主成分分析（Principal Components Analysis,PCA)PCA是一种典型的无监督线性在介绍主成分分析（PCA）之前，我们不妨想想为什么要用PCA

异常检测（anomaly detection）关于异常检测（anomaly detection）本文主要介绍一下几个方面：异常检测定义及应用领域常见的异常检测算法高斯分布（正态分布）异常检测算法评估异常检测算法异常检测VS监督学习如何选择使用features多元高斯分布多元高斯分布在异常检测上的应用一、异常检测定义及应用领域先来看什么是异常检测？所谓异常检测就是发现与大

前面两篇博客分别介绍了如何构造决策树（根据信息增益，信息增益率，基尼指数等）和如何对决策树进行剪枝（预剪枝和后剪枝），但是前面两篇博客主要都是基于离散变量的，然而我们现实的机器学习任务中会遇到连续属性，这篇博客主要介绍决策树如何处理连续值。因为连续属性的可取值数目不再有限，因此不能像前面处理离散属性枚举离散属性取值来对结点进行划分。因此需要连续属性离散化，常用的离散化策略是二分法，这个技术也是C4.5中采用的策略。下面来具体介绍下，如何采用二分法对连续属性离散化：

预剪枝就是在构造决策树的过程中，先对每个结点在划分前进行估计，若果当前结点的划分不能带来决策树模型泛华性能的提升，则不对当前结点进行划分并且将当前结点标记为叶结点。

决策树（decision tree）说明：这篇博客是看周志华老师的《机器学习》（西瓜书）的笔记总结，博客中有大段文字摘自周老师的《机器学习》书，仅供学习交流使用。转载博客务必注明出处和作者，谢谢。决策树算法起源于E.B.Hunt等人于1966年发表的论文“experiments in Induction”，但真正让决策树成为机器学习主流算法的还是Quinlan（罗斯.昆兰）大神（2011年

使用pyplot中scatter画散点图        在机器学习任务中，为了更好地训练模型，我们通常会先可视化观察下数据集，比如如果我们的数据集不是线性可分的，那么此时你如果还是使用logistics regression等模型训练出来的效果也不会太好。（ps.多说一句，如果数据集不是线性可分的，一般选择使用神经网络，额。。好吧，绕不开的神经网络，但是三十年河东三十年河西，以后会是什么模型风靡江湖

Gradient Checking（梯度检验）        我们有时候实现完backward propagation，我们不知道自己实现的backward propagation到底是不是完全正确的（这篇博客只面向自己手撸的网络，直接搬砖的不需要考虑这个问题…..），因此，通常要用梯度检验来检查自

几种梯度下降方法对比（Batch gradient descent、Mini-batch gradient descent 和 stochastic gradient descent）        我们在训练神经网络模型时，最常用的就是梯度下降，这篇博客主要介绍下几种梯度下降的变种（mini-ba

深度学习中神经网络的几种权重初始化方法       在深度学习中，神经网络的权重初始化方法对（weight initialization）对模型的收敛速度和性能有着至关重要的影响。说白了，神经网络其实就是对权重参数w的不停迭代更新，以期达到较好的性能。在深度神经网络中，随着层数的增多，我们在梯度下降的过程中，极易出现梯度消失...

决策树（decision tree）（四）——缺失值处理** 注：本博客为周志华老师《机器学习》读书笔记，博客以西瓜书为基础写成。2019年4月13日更新：1、订正了大家评论中的一个笔误。2、增加测试样本中属性有缺失值该如何处理。决策树系列博客：决策树（decision tree）（一）构造决策树方法 决策树（decision tree）（二）剪枝 决策树（decisi...

Hinton公开课编程题2--神经概率语言模型（NNLM） 这周的编程题主要是实现一个神经概率语言模型（NNLM），不过基础的大框架都搭好了，需要编程的部分也是以选择题的形式给出的。这都不重要，重要的还是我们要理解这个神经概率语言模型是如何work的，其实这其中最重要的点就是word embedding（词嵌入）了。这个模型我看了很长时间，因为我刚开始接触NLP，而且这篇博客只当做个人的笔记，

Softmax Regression注：这篇博客是看NG的UFLDL_Tutorial写的博客笔记，其中大量文字和公式来自该网页，自己只添加了公式推导和实验编程部分。网址为：Link。本文主要从下几个方面介绍softmax回归（softmax regression）：softmax regression的代价函数softmax regression模型参数的特点权重衰减（收缩法

机器学习的前世今生：一段波澜壮阔的历史注：本篇文章为转载，原文地址为：http://mp.weixin.qq.com/s?__biz=MzIwMTgwNjgyOQ==&mid=2247484356&idx=1&sn=51459e0e5bddebf6c4faf56111749b9b ，尊重原创Machine Lear

保存训练好的机器学习模型        当我们训练好一个model后，下次如果还想用这个model，我们就需要把这个model保存下来，下次直接导入就好了，不然每次都跑一遍，训练时间短还好，要是一次跑好几天的那怕是要天荒地老了。。sklearn官网提供了两种保存model的方法：官网地址1.使用python自带的picklefrom sklearn.ensemble import Ra

sklearn模型调优（判断是否过过拟合及选择参数）这篇博客主要介绍两个方面的东西，其实就是两个函数：1. learning_curve()：这个函数主要是用来判断（可视化）模型是否过拟合的，关于过拟合，就不多说了，具体可以看以前的博客：模型选择和改进 2. validation_curve()：这个函数主要是用来查看在参数不同的取值下模型的性能 下面通过代码例子来看下这两个函数