皮皮blog

http://blog.csdn.net/pipisorry/article/details/23567065划分算法Partitioning Methods基于划分的方法（Partition-based methods）：其原理简单来说就是，想象你有一堆散点需要聚类，想要的聚类效果就是“类内的点都足够近，类间的点都足够远”。首先你要确定这堆散点最后聚成几类，然后挑选几个点作为初始中心点，...

http://blog.csdn.net/pipisorry/article/details/52789149最大熵模型相关的基础知识[概率论：基本概念CDF、PDF ]熵定义为： [信息论：熵与互信息 ][最优化方法：拉格朗日乘数法 ][参数估计：贝叶斯思想和贝叶斯参数估计 ][参数估计：最大似然估计MLE ]皮皮blog最大熵原理和思想 ...

http://blog.csdn.net/pipisorry/article/details/52788947对数线性模型log linear model对数线性模型有：最大熵模型和逻辑斯谛回归。特征和指示特征对数线性模型的一般形式[概率图模型原理与技术]某小皮对数线性模型的不同形式因子图将因子转换到对数空间，成为对数线性模型。...

解决约束优化问题——拉格朗日乘数法拉格朗日乘数法（Lagrange Multiplier Method）应用广泛，可以学习麻省理工学院的在线数学课程。1. 拉格朗日乘数法的基本思想　　作为一种优化算法，拉格朗日乘子法主要用于解决约束优化问题，它的基本思想就是通过引入拉格朗日乘子来将含有n个变量和k个约束条件的约束优化问题转化为含有（n+k）个变量的无约束优化问题。拉格朗日乘子背后的数学意义是其为约

在[1]:%matplotlib inline抓取的数据一个简单的HTTP请求在[2]:import requestsprint requests.get("http://example.com").text Example

常见的曲线拟合方法    1.使偏差绝对值之和最小          2.使偏差绝对值最大的最小          3.使偏差平方和最小     按偏差平方和最小的原则选取拟合曲线，并且采取二项式方程为拟合曲线的方法,称为最小二乘法。多项式拟合介绍多项式拟合公式多项式拟合问题描述假定

http://blog.csdn.net/pipisorry/article/details/52574156衡量分类器的好坏 对于二类分类器/分类算法，评价指标主要有accuracy， [precision，recall，F-score，pr曲线]，ROC-AUC曲线，gini系数。 对于多类分类器/分类算法，评价指标主要有accuracy， [宏平均和微...

New to Machine Learning? Avoid these three mistakesCommon pitfalls when learning from dataMachine learning (ML) is one of the hottest fields in data science. As soon as ML entered the mainstre

http://blog.csdn.net/pipisorry/article/details/52098864非负矩阵分解(NMF,Non-negative matrix factorization)NMF的发展及原理　　著名的科学杂志《Nature》于1999年刊登了两位科学家D.D.Lee和H.S.Seung对数学中非负矩阵研究的突出成果。该文提出了一种新的矩阵分解思想——非负矩阵分解(Non

http://blog.csdn.net/pipisorry/article/details/52902797调参经验好的实验环境是成功的一半由于深度学习实验超参众多，代码风格良好的实验环境，可以让你的人工或者自动调参更加省力，有以下几点可能需要注意：将各个参数的设置部分集中在一起。如果参数的设置分布在代码的各个地方，那么修改的过程想必会非常痛苦。可以输出模型的损失函数值以及训练集和验证集上的准确

在很多任务中，特征并不总是连续值，而有可能是分类值。例如，考虑一下的三个特征：如果将上述特征用数字表示，效率会高很多。例如：["male", "from US", "uses Internet Explorer"] 表示为[0, 1, 3]["female", "from Asia", "uses Chrome"]表示为[1, 2, 1]但是，即使转化为数字表示后，上述数据也不能直接用在我们的分类器中。

http://blog.csdn.net/pipisorry/article/details/73770637线性基函数回归模型基函数线性回归模型的最简单的形式也是输入变量的线性函数。但是,通过将一组输入变量的非线性函数进行线性组合,我们可以获得一类更加有用的函数,被称为基函数( basis function )。这样的模型是参数的线性函数,这使得其具有一些简单的分析性质,同时关于输入变量是非线性

http://blog.csdn.net/pipisorry/article/details/51471222贝叶斯与频率派思想频率派思想    长久以来，人们对一件事情发生或不发生，只有固定的0和1，即要么发生，要么不发生，从来不会去考虑某件事情发生的概率有多大，不发生的概率又是多大。而且事情发生或不发生的概率虽然未知，但最起码是一个确定的值。比如如果问那时的人们一个问题：“有一个袋子，里面装着

熵/信息熵http://这篇文章主要讲：熵, 联合熵(joint entropy),条件熵(conditional entropy),相对熵(relative entropy,KL 距离),互信息(mutual information),交叉熵(cross entropy),困惑度(perplexity)。熵/信息熵在信息论中，熵是接收的每条消息中包含的信息的平均量，又被称为信息熵、信源熵、平均自信息量。这里， 消息代表来自分布或数据流中的事件、样本或特征。

http://blog.csdn.net/pipisorry/article/details/49235529这个没时间写，下次有空写吧╮(╯_╰)╭from: http://blog.csdn.net/pipisorry/article/details/49235529ref:

http://blog.csdn.net/pipisorry/article/details/52578631本文讨论贝叶斯网的参数估计问题：贝叶斯网的MLE最大似然估计和贝叶斯估计。假定网络结构是固定的，且假定数据集D包含了网络变量的完全观测实例。参数估计的主要方法有两种：一种基于最大的似然的估计；一种是使用贝叶斯方法。贝叶斯网的MLE参数估计最大似然估计MLE[参数估计：最大似然估计MLE

Comprehensive learning path – Data Science in PythonJourney from a Python noob to a Kaggler on PythonSo, you want to become a data scientist or may be you are already one and want to expand yo

http://blog.csdn.net/pipisorry/article/details/24574293牛顿法和拟牛顿法（Newton's method & Quasi-Newton Methods）牛顿法（Newton's method）　　又称为牛顿-拉弗森方法（Newton-Raphson method），单变量下又称为切线法。它是一种在实数域和复数域上近似求解方程的方法。方法使用函数

逻辑回归Logistic Regression逻辑回归是一种线性分类模型，而不是回归模型。也就是说，输入的因变量target y是离散值，如分类类别1，0等等，而不是连续型的数据。判别式训练的⼀种形式：在直接⽅法中，我们最⼤化由条件概率分布p(Ck j x)定义的似然函数。判别式⽅法的⼀个优点是通常有更少的可调节参数需要确定。并且预测表现也会提升，尤其是当类条件概率密度的假设没有很好地近似真实的分

http://blog.csdn.net/pipisorry/article/details/39891197共轭梯度法（Conjugate Gradient）共轭梯度法（英语：Conjugate gradient method），是求解数学特定线性方程组的数值解的方法，其中那些矩阵为对称和正定。共轭梯度法是一个迭代方法，它适用于稀疏矩阵线性方程组，因为这些系统对于像Cholesky分解这样的直接

http://blog.csdn.net/pipisorry/article/details/52791036最大熵模型的学习最大熵模型具体形式的推导+参数w的学习。根据[最大熵模型The Maximum Entropy：模型]最大熵模型的形式如下：最大熵模型学习最大熵模型学习的思路学习过程的具体推导Note: 通过交换极大极小位置，即得其对偶问题...

http://blog.csdn.net/pipisorry/article/details/50638749偏置-方差分解(Bias-Variance Decomposition)偏置-方差分解(Bias-Variance Decomposition)是统计学派看待模型复杂度的观点。Bias-variance 分解是机器学习中一种重要的分析技术。给定学习目标和训练集规模，它可以把一种学习算法的期

http://blog.csdn.net/pipisorry/article/details/42550815EM算法有很多的应用，最广泛的就是GMM混合高斯模型、聚类、HMM、基于概率的PLSA模型等等。本文详细讲述EM算法的由来、EM算法的实现思路、EM算法解决PLSA和LDA的方法。概述、EM是一种解决存在隐含变量优化问题的有效方法。EM的意思是“Expectation Maximizati

http://blog.csdn.net/pipisorry/article/details/52108040机器学习和深度学习常用的规则化方法之一：L范数正则化（规格化）。一般来说，监督学习可以看做最小化下面的目标函数）：θ∗=arg⁡minθ1N∑i=1NL(yi,f(xi;θ))+λ 

softmax建模使用的分布是多项式分布，而logistic则基于伯努利分布。多个logistic回归通过叠加也同样可以实现多分类的效果，但是 softmax回归进行的多分类，类与类之间是互斥的，即一个输入只能被归为一类；多个logistic回归进行多分类，输出的类别并不是互斥的，即"苹果"这个词语既属于"水果"类也属于"3C"类别。

http://blog.csdn.net/pipisorry/article/details/52247379这里主要讲连续型特征归一化的常用方法。连续型特征还有一种处理方式是，先分桶/分箱（如等频/等距的分）[待写]进行离散化后再使用离散数据的处理方法。离散数据处理参考[数据预处理：独热编码（One-Hot Encoding）]。基础知识参考：[均值、方差与协方差矩阵][...

http://blog.csdn.net/pipisorry/article/details/23692455梯度下降法（Gradient Descent）梯度下降法是一个一阶最优化算法，通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点；

http://blog.csdn.net/pipisorry/article/details/45651315在机器学习和数据挖掘中，我们经常需要知道个体间差异的大小，进而评价个体的相似性和类别。最常见的是数据分析中的相关分析，数据挖掘中的分类和聚类算法，如 K 最近邻（KNN）和 K 均值（K-Means）等等。不同距离度量的应用场景根据数据特性的不同，可以采用不同的度量方法。whi...

1.www.FreeBookSpot.comFreeBookSpot有4485本免费的E-BOOKS分成96个类别，多达71,97 GB。 您可以在类別搜寻找和下载免费的书，如:科学、设计、编码、小说和许多其他的书。您可以在类别搜寻和下载免费的书，如:科学、设计、编码、小说和许多其他的书。2.www.4eBooksorg/4eBooks 有数量相当庞大的程式设计ebooks，下载的

http://blog.csdn.net/pipisorry/article/details/40200111特征工程的思维导图[机器学习之特征工程][知乎：在机器学习的项目中，特征是如何被找出来的？][机器学习中，有哪些特征选择的工程方法？ - 知乎]皮皮blogsklearn.feature_selection 模块中的类能够用于数据集的特征选择/降维，以此来提高预测模型的准确率或改善它们在高

http://blog.csdn.net/pipisorry/article/details/23553263非线性方程求根方法中的数学定义零点1  如果 x * 使 f( x * )=0,则称 x * 为方 程的根,或称为 函数f( x )的零点;当 f( x )为多项式时,即其中0这里我们要求解的就是非线性方程的解（即零点）x*。一般情况下,用计算机求解非线性方程步骤第一步:对方程 f( x

http://blog.csdn.net/pipisorry/article/details/21593295机器学习应用场景[各种机器学习的应用场景分别是什么？例如，k近邻,贝叶斯，决策树，svm，逻辑斯蒂回归和最大熵模型 - 知乎]皮皮blogfrom:http://blog.csdn.net/pipisorry/article/details/21593295ref:

http://blog.csdn.net/pipisorry/article/details/53635895核密度估计Kernel Density Estimation(KDE)概述密度估计的问题由给定样本集合求解随机变量的分布密度函数问题是概率统计学的基本问题之一。解决这一问题的方法包括参数估计和非参数估计。参数估计参数估计又可分为参数回归分析和参数判别分析。在参数回归分析中，人们假定数据分布

http://blog.csdn.net/pipisorry/article/details/41957763文本特征提取词袋（Bag of Words）表征文本分析是机器学习算法的主要应用领域。但是，文本分析的原始数据无法直接丢给算法，这些原始数据是一组符号，因为大多数算法期望的输入是固定长度的数值特征向量而不是不同长度的文本文件。为了解决这个问题，scikit-learn提供了一些实用工具可以

http://blog.csdn.net/pipisorry/article/details/62053938时间序列简介时间序列是时间间隔不变的情况下收集的时间点集合。这些集合被分析用来了解长期发展趋势，为了预测未来或者表现分析的其他形式。但是什么时间序列？与常见的回归问题的不同？1、时间序列是跟时间有关的。所以基于线性回归模型的假设：观察结果是独立的。在这种情况下是不成立的。2、随着上升或者下

http://blog.csdn.net/pipisorry/article/details/23538535监督学习及其目标函数 损失函数（loss function）是用来估量你模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部...

机器学习的来源和用例：Machine Learning- Grew out of work in AI- New capability for computersExamples:- Database miningLarge datasets from growth of automation/web.E.g., Web click data, medical re

http://blog.csdn.net/pipisorry/article/details/43115525机器学习Machine Learning - Andrew NG courses学习笔记Linear regression with one variable单变量线性回归模型表示Model representation例子：这是Regression Problem（one of supe

机器学习Machine Learning - Andrew NG courses学习笔记矩阵和向量及其表示介绍what are matrices矩阵matrix is just another way for saying, is a 2D or a two dimensional array.dimension of the matrixis going to be

机器学习Machine Learning - Andrew NG courses学习笔记linear regression works with multiple variables or with multiple features多变量线性规划Multiple Features多变量Gradient Descent for Multiple