机器学习
参考代码链接:https://github.com/Gavince/lihang_Machine
张先生-您好
学习的同时记录,记录的同时分享,分享的同时交流,交流的同时学习。
展开
-
Chapter 9 EM算法
Em算法1. 前言 EM算法是一种迭代算法,用于含有隐变量的概率模型参数的极大似然估计,或极大后验概率估计.EM算法的每次迭代由两部分组成:E步,求期望, M步:求极大.所以这一算法被称为期望极大算法,简称EM算法.2. EM算法引入已知: 三枚硬币(A,B,C)投掷正面的概率分别是(π,p,q\pi,p, qπ,p,q),投掷原则如下图,最终投掷结果出现正面记作1,出现...原创 2019-10-04 10:16:49 · 222 阅读 · 0 评论 -
XGBoost多分类调参代码实例(基于鸢尾花数据集)
XGBoost多分类任务: 使用鸢尾花的数据来说明多分类的问题损失:Multi-classification的问题可以用Multi-LogLossMulti-LogLoss=−1n∑i=1n∑j=1myi,jlog(pi,j).\text{Multi-LogLoss}=-\frac{1}{n}\sum_{i=1}^n\sum_{j=1}^m y_{i,j}\log (p_{i,j}).Multi-LogLoss=−n1i=1∑nj=1∑myi,jlog(pi,j).其中n是预测样本原创 2020-11-18 10:51:41 · 7553 阅读 · 2 评论 -
集成学习实例代码
集成学习Voting## 加载相关库from sklearn.datasets import load_iris # 加载数据from sklearn.model_selection import train_test_split # 切分训练集与测试集from sklearn.preprocessing import StandardScaler # 标准化数据from sklearn.preprocessing import LabelEncoder # 标签化分类变量##原创 2020-11-05 15:25:47 · 2014 阅读 · 0 评论 -
Chapter 7 支持向量机与SMO解析(附代码解析)
支持向量机前言 支持向量机是一种二分类的模型,它的基本模型是定义在特征空间上间隔最大的线性分类器,间隔最大使它有别与其他感知机模型。有线性支持向量机,线性可分支持向量机和非线性支持向量机。线性可分支持向量机(Hard Margin)函数间隔和几何间隔函数间隔对于给定数据集TTT和超平面(w,b)(w,b)(w,b),定义超平面(w,b)(w,b)(w,b)关于样本点(xi,yi)...原创 2020-03-24 17:11:00 · 523 阅读 · 2 评论 -
Chapter 8 Adaboost算法
AdaBoost方法前言 提升(Boosting)方法是一种常用的统计学习方法,应用广泛且有效.在分类问题中,它通过改变训练样本的权重,学习多个分类器,并且将这些分类器进行线性的组合. 提升方法本身也基于这样一种思想:对于一个复杂任务来说,将多个专家的判断进行适当的综合所得出的判断,要比任何一个庄家单独判断的好,实际上就是"三个臭皮匠顶个诸葛亮"的道理.强可学习:一个概念...原创 2020-03-01 14:49:25 · 191 阅读 · 1 评论 -
KNN和K-means算法
前言Knn算法和K-means算法是经常混淆的两个算法,本文主要针对Knn算法和K-means原理和代码实现,从而进一步区分了两种算法,并且加深算法的理解.1. k 近邻模型目的:kkk近邻法是基本且简单的分类与回归方法。kkk近邻法的基本做法是:对给定的训练实例点和输入实例点,首先确定输入实例点的kkk个最近邻训练实例点,然后利用这kkk个训练实例点的类的多数来预测输入实例点的类。(有监督...原创 2020-02-14 21:48:51 · 929 阅读 · 0 评论 -
Chapter 12 PCA与SVD算法理论与实践
前言 最近,在学习机器学习算法时,看到了PCA(主成分分析)和SVD(奇异值分解),这是两个基本数据降维的算法,而在降维算法中的“降维”主要是指降低特征矩阵中特征数量的维度,直观上理解我们希望数据带有较少的特征,表示较好的效果。本文主要讲解PCA和SVD算法,算法的理解请仔细阅读文章后的参考链接,本文主要侧重应用和理解。????PCA(主成分分析)算法原理这里直接给出算法的具体步骤,算法...原创 2019-12-15 12:45:46 · 352 阅读 · 0 评论 -
Chapter 5 决策树算法
决策树决策树定义:分类决策树模型是一种描述实例进行分类的树形结构,决策树由节点和有向边组成,结点有两种类型:内部结点和叶结点。内部结点表示一个特征或属性,叶结点表示一个类。决策树示意图如下: 其中,红色结点表示叶子结点(最终的分类情况),绿色节点表示分类的规则。决策树学习,是在给训练数据集的情况下,构建一个决策树模型,使它能够对实例进行正确的分类。而决策树的本质是从训练集中...原创 2019-11-24 19:53:26 · 390 阅读 · 0 评论 -
OpenCv之人脸识别
OpenCv安装 本次选用版本为OpenCv3.3.0,也可以在OpenCv2.4.9中(本人亲测可以,需要修改代码某些部分,但改动不大),当然此次也安装了OpenCv3.3.0 contrib,因为需要使用其中的face库,来实现人脸识别的相应模块,在安装OpenCv3.3.0和OpenCv 3.3.0 contrib时,应该注意选则相同的版本,为加快开发速度,我已经将相应版本上传到网...原创 2019-10-15 19:20:17 · 589 阅读 · 0 评论 -
Chapter 11 CRF算法
前言问题的引入条件随机场是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型,其特点是假设暑促的随机变量构成马尔科夫随机场.预备知识概率图模型 概率图模型是使用图来表示概率分布.如下图,其中图的结点表示随机变量,边表示相互连接的结点之间的依赖关系.成对马尔科夫性 给定随机变量组YOY_OYO的条件下随机变量YuY_uYu和YvY_vYv是条件独立的(下...原创 2019-10-03 09:05:09 · 410 阅读 · 0 评论 -
Chapter 10 HMM算法
0.导读马尔科夫链 随机过程有两个维度的不确定性。马尔可夫为了简化问题,提出了一种简化的假设,即随机过程中各个状态sts_tst的概率分布,只与它的前一个状态st−1s_{t-1}st−1有关, 即P(st∣s1,s2,s3,…,st−1)=P(st∣st−1)P(s_t|s_1, s_2, s_3, \dots,s_{t-1})=P(s_t|s_{t-1})P(st∣s1,s2...原创 2019-09-15 09:30:40 · 261 阅读 · 0 评论 -
Chapter 1 统计学习方法概论
1. 过拟合与正则化过拟合:如果一味的追求提高对训练数据的预测能力,所选择的模型的复杂度往往会比真模型更高,这种现象称为过拟合(over-fitting)。过拟合是指学习时选择的模型包含的参数过多,以致于出现这一模型对已知数据预测得很好,但对于未知数据预测很差的现象。如下图:[外链图片转存失败(img-WymAfXSf-1568443060498)(/home/gavin/.config/...原创 2019-09-14 14:43:13 · 142 阅读 · 1 评论 -
Chapter 6 逻辑斯谛回归与最大熵模型
逻辑斯谛回归与最大熵模型LR算法最大熵原理李航·统计学习方法笔记·第6章 logistic regression与最大熵模型(2)·最大熵模型1.逻辑斯谛分布二项逻辑斯谛回归模型是一种分类模型, 由条件概率分布P(X∣Y)P(X|Y)P(X∣Y)表示,形式为参数化的逻辑斯谛分布。这里随机变量取实数。随机变量YYY取值为1或者0.1.1 LR二分类模型P(Y=1∣x)=exp(w...原创 2019-09-14 14:58:58 · 250 阅读 · 0 评论 -
Chapter 4 朴素贝叶斯算法与手写数字识别实战
朴素贝叶斯朴素贝叶斯的推导朴素贝叶斯应用1. 理论推到1.朴素贝叶斯法是典型的生成学习方法。生成方法由训练数据学习联合概率分布P(X,Y)P(X,Y)P(X,Y),然后求得后验概率分布P(Y∣X)P(Y|X)P(Y∣X)。具体来说,利用训练数据学习P(X∣Y)P(X|Y)P(X∣Y)和P(Y)P(Y)P(Y)的估计,得到联合概率分布:P(X,Y)=P(Y)P(X∣Y)P(X,Y)=P(...原创 2019-09-14 15:00:57 · 522 阅读 · 0 评论 -
Chapter 3 KNN算法
前言目的:kkk近邻法是基本且简单的分类与回归方法。kkk近邻法的基本做法是:对给定的训练实例点和输入实例点,首先确定输入实例点的kkk个最近邻训练实例点,然后利用这kkk个训练实例点的类的多数来预测输入实例点的类。1. k 近邻模型1.1 算法输入: KaTeX parse error: Expected 'EOF', got '\cal' at position 51: …y_N...原创 2019-09-14 15:05:00 · 249 阅读 · 0 评论 -
Chapter 2 Perceptron算法
1.感知机学习算法1.1 概述 感知机模型是一个二分类的的线性模型,其输入为实例的特征向量,输出为实例的类别,取-1和+1二值。感知机对应输入空间(特征空间)中将实例划分为正负两类的分离超平面,属于判别模型。感知机模型如下(其中w和x为感知机模型参数):f(x)=sign(w⋅x+b)sign(x)={+1,x⩾0−1,x<0\begin{array}{l}{f(x)...原创 2019-09-14 15:17:41 · 346 阅读 · 0 评论