- 博客(16)
- 收藏
- 关注
RSS订阅原创 机器学习——隐马尔可夫模型
隐马尔可夫模型定义基本假设概率计算算法直接计算法前向算法后向算法隐马尔可夫模型可用于标注问题，属于生成模型，在语音识别、自然语言处理、生物信息、模式识别等领域有着广泛的应用。定义隐马尔可夫模型是关于时序的概率模型，描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。隐藏的马尔可夫链随机生成的状态的序列，称为状态序列。每个状态生成一个观测...
2019-05-27 16:07:14
308
原创 机器学习——EM算法
EM算法定义Q函数参考文献定义EM算法：输入：观测变量数据 YYY，隐变量数据 ZZZ，联合分布 P(Y,Z∣θ)P(Y,Z| \theta)P(Y,Z∣θ)，条件分布P(Z∣Y,θ)P(Z|Y,\theta)P(Z∣Y,θ)；输出：模型参数 θ\thetaθ；选择参数的初值 θ(0)\theta^{(0)}θ(0)，开始迭代；E步：记 θ(i)\theta^{(i)}θ(i) 为第...
2019-05-21 16:52:49
220
原创 机器学习——提升树模型
提升树模型提升树模型提升树算法梯度提升树参考文献提升树是以分类树或回归树为基分类器的提升方法，由于树模型的线性组合可以很好地拟合训练数据，即使数据中的输入与输出之间的关系很复杂，因此提升树被认为是统计学习中性能最好的方法之一。提升树模型以决策树为基函数的提升方法称为提升树模型。对分类问题决策树是二叉分类树，对回归问题决策树是二叉回归树。提升树模型可以表示为决策树的加法模型：fM(x)=∑m...
2019-05-16 19:46:23
486
原创 机器学习——AdaBoost算法
AdaBoost算法综述定义另一种解释前向分步算法前向分步算法与AdaBoost参考文献综述对于分类问题而说，给定一个训练样本集，求比较粗糙的分类规则（弱分类器）要比求精确的分类规则（强分类器）容易很多。提升方法就是从弱学习算法出发，反复学习，得到一系列弱分类器（又称基分类器），然后组合这些弱分类器，构成一个强分类器。大多数提升方法都是改变训练数据的概率分布（训练数据的权值分布），针对不同的训...
2019-05-16 16:24:46
301
原创 机器学习——支持向量机（SVM）
支持向量机线性可分支持向量机支持向量机是一种二类分类线性模型，引入核函数后可变成非线性模型。学习策略是间隔最大化，与感知机不同，感知机模型的策略是误分类点与分割面距离之和最小。线性可分支持向量机给定线性可分训练数据集，通过间隔最大化或等价地求解相应的凸二次规划问题学习得到的分离超平面为：w∗⋅x+b∗=0w^*\cdot x+b^*=0w∗⋅x+b∗=0以及相应的分类决策函数f(x)...
2019-05-13 14:28:52
290
原创 机器学习——决策树：ID3，C4.5，CART
决策树，树模型ID3信息增益ID3算法C4.5信息增益比CART回归树分类树CART剪枝RFGBDTXGBoostLGBM决策树是一种基本的分类与回归方法，决策树模型呈树形结构，可以认为是if-then规则的集合。决策树学习的算法通常是一个递归地选择最优特征，并根据该特征对训练数据进行分割，使得对各个子数据集有一个最好的分类的过程。这一过程对应着对特征空间的划分，也对应着决策树的构建。开始，构...
2019-05-11 23:51:40
204
原创 机器学习——统计学习方法分类
统计学习方法分类分类一生成模型判别模型分类二分类问题标注问题回归问题分类三监督学习非监督学习半监督学习强化学习统计学习方法三要素：模型、策略、算法分类一生成模型生成方法有数据学习联合概率分布 P(X,Y)P(X,Y)P(X,Y)，然后求出条件概率分布 P(Y∣X)P(Y|X)P(Y∣X) 作为预测的模型，即生成模型：P(Y∣X)=P(X,Y)P(X)P(Y|X)=\frac{P(X,Y...
2019-05-10 22:06:23
738
原创 机器学习——损失函数，风险函数，误差，模型选择方法
损失函数，风险，风险最小化损失函数0-1 损失函数平方损失函数绝对损失函数对数损失函数（对数似然损失函数）风险经验风险结构风险风险最小化经验风险最小化结构风险最小化参考文献损失函数监督学习问题是在假设空间 F\mathcal FF 中选取模型 fff 作为决策函数，对于给定的输入 XXX，由 f(X)f(X)f(X) 给出相应的输出 YYY，这个输出的预测值 f(X)f(X)f(X) 与真实值...
2019-05-10 10:26:38
977
原创 机器学习——朴素贝叶斯
朴素贝叶斯定义参数估计极大似然估计贝叶斯估计参考文献定义朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法，属于生成模型。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入 xxx，利用贝叶斯定理求出后验概率最大的输出 yyy。朴素贝叶斯法之所以叫作“朴素”，是由于它采用了条件独立性的假设，即假设用于分类的特征在类确定的条件下都是独立...
2019-05-05 14:54:27
201
原创 机器学习——感知机
感知机定义几何解释数据集的线性可分性感知机学习算法损失函数梯度下降求解感知机的两种形式原始形式对偶形式参考文献定义假设输入空间（特征空间）是 X⊆Rn\mathcal X\subseteq \bf R^nX⊆Rn，输出空间是 Y={+1,−1}\mathcal Y=\{+1,-1\}Y={+1,−1}。输入 x∈Xx\in \mathcal Xx∈X 表示实例的特征向量，对应于输入空间（特征空...
2019-05-04 16:45:18
186
原创 机器学习——k近邻算法
k近邻算法$k$ 近邻定义最近邻算法$k$ 近邻算法特点模型距离度量$k$ 值的选择分类决策规则kkk 近邻定义k近邻算法由Cover和Hart在1968年提出，k近邻算法简单、直观：给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最临近的k个实例，这k个实例的多数属于某个类，就把该输入实例分为这个类。k\bm kk 近邻算法没有训练过程。输入：训练数据集T={(x1,y1...
2019-05-01 20:18:21
197
原创 机器学习——距离度量
距离度量$L_p$ 距离欧式距离曼哈顿距离$L_{\infty}$ 距离特征空间中两个实例点的距离是两个实例点相似程度的反映。LpL_pLp 距离设特征空间 X\mathcal XX 是 nnn 维实数向量空间 Rn\bf R^nRn，xi,xj∈Xx_i, x_j \in \mathcal Xxi,xj∈X，xi=(xi(1),xi(2),...,xi(n))Tx_i=(x_i^{(...
2019-05-01 19:31:09
301
原创 线性代数——特征分解，特征值，特征向量
特征值，特征向量定义性质求解定义设 A\bm AA 是一个 nnn 阶矩阵，λ\lambdaλ 是一个数，如果存在非零列向量 α\bm\alphaα 使得：Aα=λα\bm A\bm\alpha=\lambda \bm\alphaAα=λα 就称 λ\lambdaλ 是 A\bm AA 的一个特征值，α\bm\alphaα 是 A\bm AA 的对应特征值 λ\lambdaλ 的特征向量...
2019-04-17 19:41:01
1130
原创 线性代数——行列式
行列式二阶行列式三阶行列式$n$ 阶行列式行列式的性质行列式展开克拉默法则二阶行列式形如：∣a11  a12a21  a22∣\begin{vmatrix}a_{11} \; a_{12} \\a_{21} \; a_{22}\end{vmatrix}∣∣∣∣a11a12a21a22∣∣∣∣叫做一个二阶行列式，...
2019-04-15 19:15:02
602
原创 线性代数——范数
范数范数$L^2$范数$L^1$范数$L^0$范数$L^\infty$范数范数机器学习中，经常使用范数来衡量向量的大小，直观上向量 x\bm xx 的范数衡量从原点到点 x\bm xx 的距离，LpL^pLp 范数的定义如下：∣∣x∣∣p=(∑i∣xi∣p)1p||\bm{x}||_p=(\sum_i |x_i|^p)^{\frac{1}{p}}∣∣x∣∣p=(i∑∣xi∣p)p1...
2019-04-11 17:24:04
924
原创 线性代数——标量，向量，矩阵，张量
线性代数笔记——标量，向量，矩阵，张量标量向量矩阵张量标量一个标量是一个单独的数，通常用斜体的小写变量表示，例如“令n∈Nn\in Nn∈N表示元素的数目”向量一个向量是一列数，通常用斜体的粗体变量表示，例如 :x=[x1x2⋮xn]x=\begin{bmatrix}x_1 \\x_2 \\\vdots \\x_n\end{bmatrix}x=⎣⎢⎢⎢⎡x1x2...
2019-04-09 15:12:40
1822
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人