小哲的博客

描述性统计是通过图表或数学方法，对数据资料进行整理、分析，并对数据的分布状态、数字特征和随机变量之间关系进行估计和描述的方法。描述统计分为集中趋势分析和离散趋势分析和相关分析三大部分。集中趋势分析：集中趋势分析主要靠平均数、中数、众数等统计指标来表示数据的集中趋势。例如被试的平均成绩多少？是正偏分布还是负偏分布？离散趋势分析：离散趋势分析主要靠全距、四分差、平均差、方差（协方差：用来度量两个随机变量关系的统计量）、标准差等统计指标来研究数据的离中趋势。例如，我们想知道两个教学班的语文成绩中，哪个班级内的成绩

在数值分析中，拉格朗日常用于多项式插值。假定提供一组数据点[xi,yi]，拉格朗日插值多项式就是由这些数据的线性运算得到的。其中基本的多项式有以下公式计算得到注意 1.第一提供的xi应该是没有相同的，否则不能应用此算法 2.对于每一个xi，yi都只对应一个值 3.对于i~=j，lj（x）包括x-xi，因此，整个表达式的乘积将是0。      4.

机器学习必备微积分公式基础不定积分公式基础不定积分公式∫kdx=kx+C\int k dx = kx+C∫kdx=kx+C∫xμdx=xμ+1μ+1+C,μ≠−1\int x^\mu dx=\frac{x^{\mu +1}}{\mu +1} +C, \mu \ne -1∫xμdx=μ+1xμ+1​+C,μ​=−1∫dxx=ln⁡∣x∣+C\int \frac{dx}{x} = \ln |x|+C∫xdx​=ln∣x∣+C∫11+x2dx=arctan⁡x+C\int \frac

在生物系统中，通过化学动力学原理所建立的生物网络数学模型往往具有一些特定数学性质，尤其是生物调控网络。动力系统理论上把这类系统称为单调动力系统。

概率模型有时既含有观测变量( observable variable),又含有隐变量或潜在变量( (latent variable)。如果概率模型的变量都是观测变量，那么给定数据，可以直接用极大似然估计法，或者贝叶斯估计法估计模型参数。但是当模型含有隐变量时，就不能用这些估计方法。EM算法就是含有隐变量的概率模型参数的极大似然估计法，或极大后验概率估计法。将观测数据表示为 Y=(Y1,Y2,⋯ ,Yn)TY=\left(Y_{1}, Y_{2}, \cdots, Y_{n}\right)^{\mathrm{

（1）介绍boosting方法的思路和代表性的boosting算法AdaBoost（2）通过训练误差分析探讨AdaBoost为什么能提高学习精度（3）从前向分布加法模型的角度解释AdaBoost（4）最后叙述boosting方法更具体的实例——boosting tree（提升树）boosting基本思路：**boosting基于这样一种思想：对于一个复杂任务来说，将多个专家的判断进行适当的综合所得出的判断，要比其中任何一个专家单独的判断好。**实际上就是“三个臭皮匠，顶个诸葛亮”的道理。强可学习：在概

非线性支持向量机，其主要特点是利用核技巧（kernel trick）。如果能用一个超曲面将正负例正确分开，则称这个问题为非线性可分问题。非线性问题往往不好求解，所以希望能用解线性分类问题的方法解决这个问题。所采取的方法是进行一个非线性变换，将非线性问题变换为线性问题。通过求解线性问题来求解原问题。设原空间为X⊂R2，x=(x(1),x(2))T∈X\mathcal{X}⊂R^2，x=(x^{(1)},x^{(2)})^T\in \mathcal{X}X⊂R2，x=(x(1),x(2))T∈X，新空间为Z⊂

`支持向量机（support vector machines, SVM）`是 一种二类分类模型。它的基本模型是`定义在特征空间上的间隔最大的线性分类器`，间隔最大使它有别于感知机；支持向量机还包括`核技巧`，这使它成为实质上的`非线性分类器`。 支持向量机的学习策略就是`间隔最大化`，可形式化为一个求解`凸二次规划（convex quadratic programming）`的问题，也等价于正则化的`合页损失函数的最小化问题`。支持向量机的学习算法是求解凸二次规划的最优化算法。...

逻辑斯谛回归（logistic regression）是统计学习中的经典分类方法。最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型（maximum entropy model）。逻辑斯谛回归模型与最大熵模型都属于对数线性模型。...

决策树（decision tree）是一种基本的分类与回归方法。主要优点是模型具有可读性，分类速度快。决策树的学习通常包括三个步骤：特征选择、决策树的生成和决策树的剪枝。

统计学习方法学习笔记：朴素贝叶斯法1. 朴素贝叶斯的学习与分类1.1 基本方法朴素贝叶斯法(Naive Bayes)是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入xxx，利用贝叶斯定理求出后验概率最大的yyy。1. 朴素贝叶斯的学习与分类1.1 基本方法设输入空间......

@[TOC](非负矩阵分解(Non-negative Matrix Factorization)实践)1. 应用概述NMF可以应用的领域很广，源于其对事物的局部特性有很好的解释。在众多应用中，NMF能被用于发现数据库中的图像特征，便于快速自动识别应用；能够发现文档的语义相关度，用于信息自动索引和提取；能够在DNA阵列分析中识别基因等等。其中，最有效的就是图像处理领域，是图像处理的数据降维和特征提取的一种有效方法。1.1 特征学习类似主成分分析（Principal Component An

矩阵分解（Matrix Factorization）方式笔记，非负矩阵分解