机器学习读书笔记
文章平均质量分 75
学习机器学习的记录
新兴AI民工
人工智能行业的新兴民工
展开
-
机器学习读书笔记: 概率图模型
文章目录几种模型隐马尔可夫模型马尔科夫随机场条件随机场(CRF:Conditional Random Field)模型推断几种模型 机器学习的重要任务,是根据 一些已观察到的证据(训练样本)来对感兴趣的未知变量(分类,回归的值)进行估计和推测。之前也提到了两种不同的模型:生成式模型(观察与未知变量的联合模型);判别式模型(位置变量的后验概率模型)。 概率图模型则是一类用图来表达变量相关关系的概率模型。 讲线面几个马尔科夫模型之前,先提一下几个概念(都是自己的理解,不怎么严谨)。 马尔科夫过原创 2020-11-13 11:11:38 · 9317 阅读 · 0 评论 -
机器学习读书笔记:强化学习
文章目录强化学习基本模型K-摇臂赌博机模型ϵ\epsilonϵ-贪心Softmax有模型学习策略评估策略改进免模型学习蒙特卡洛强化学习采样策略改进时态差分学习值函数近似模仿学习直接模仿学习逆强化学习强化学习基本模型 强化学习的过程如下图所示: 相当于系统会与外界环境有不停的互动,先执行不同的动作,再根据外界环境的响应来判断这个动作的好坏。最终学会在什么环境下执行什么动作。这个和我们人在日常的学习过程中非常类似,有点胡萝卜加大棒的意思。 在这个简单的模型中,有几个概念:环境EEE机器有一原创 2020-11-02 14:38:06 · 9496 阅读 · 0 评论 -
机器学习读书笔记:半监督学习
文章目录半监督学习生成式方法半监督SVM基于分歧的方法图半监督学习半监督聚类半监督学习 在真实应用场景中,训练样本集的数目通常会很大。但是都是未标记数据,特别是在一些跨领域行业中,比如医疗,工业。对样本的分析都需要专业人才,甚至高精尖的人才来确定标记。而这些人肯定是不可能给你长时间的打标记的。那么半监督学习就是想利用小部分的标记数据,再加上大量未标记样本来进行推理和判断。之前描述的监督学习和无监督学习都无法满足要求,因此,一个新的思路就是——半监督学习。 半监督学习还分成几种形式:利用小样本先原创 2020-10-23 17:28:09 · 22739 阅读 · 0 评论 -
机器学习读书笔记:特征选择与稀疏学习
文章目录特征选择方法子集选择方法一:候选子集方法子集选择方法二:Relief方法子集选择方法三:LVW(Las Vegas Wrapper)稀疏表达与字典学习特征选择方法 和上一章的降维有点类似,同样是样本的属性太多,在进行距离计算或者其他训练推理的计算过程中,会大大的增加计算量。所以通过某些规则选择出相对重要的一些属性出来,从而实现降维。 另外,去除掉一些七七八八的属性,就凸显出了关键的属性,对一些业务的开展更有指导意义。比如在智能决策系统中,只给出5个影响因素总比给出50个影响因素要好理解的多原创 2020-10-19 11:49:35 · 22690 阅读 · 0 评论 -
机器学习读书笔记:样本降维
文章目录k近邻算法PCA主成分分析PCA代码核化线性降维(KPCA)低维嵌入(MDS)流形学习等度量映射(Isomap)局部线性嵌入(LLE)度量学习k近邻算法 在《机器学习》这本书中,讲降维方法之前首先介绍了这个k近邻算法。开始不知道是为什么,仔细看完之后还是了解了作者的思路。 k近邻算法是一个不需要训练的分类算法,它的分类过程如下:针对新样本xix_ixi,在已有的训练样本集DDD中计算与自己最近的kkk个最近距离的样本,距离计算可以参照聚类算法里面的介绍。根据找到的这kkk个样原创 2020-10-16 10:39:47 · 22779 阅读 · 0 评论 -
机器学习读书笔记:聚类
文章目录聚类性能度量外部指标度量方法内部指标度量方法基本距离计算无序属性距离计算加权距离计算典型聚类算法K-均值算法k-均值代码学习向量量化(LVQ)高斯混合聚类最大似然估计(MLE:Maxmium likehood)EM算法密度聚类层次聚类聚类 聚类算法和之前介绍的所有分类算法都不一样。之前所有的算法都是需要标记数据,也就是训练集样本的,这样的算法被称为监督算法。而聚类的相关算法是不需要训练过程的,也就是不需要训练集的,这样的算法被称为无监督算法。 聚类任务是想将已有或者新样本自动的进去划分,让原创 2020-10-13 15:53:19 · 13595 阅读 · 0 评论 -
机器学习读书笔记:集成学习
文章目录集成学习AdaBoost代码Bagging与随机森林Bagging随机森林(Random Forest)结合策略增加多样性的策略多样性度量集成学习 之前已经讲过了好几个学习算法,或者说分类器、模型。都能达到一定的分类效果,俗话说的好:三个臭皮匠赛过诸葛亮。集成学习就是想将不同的学习算法集成在一起来工作,以期达到1+1≥21+1\ge21+1≥2的效果。 集成学习一般的结构为: 个体学习期就是之前说过的各种各样的学习器:决策树、线性模型、支持向量机、贝叶斯分类器等。如果所有的个体原创 2020-10-06 20:23:23 · 13256 阅读 · 0 评论 -
机器学习读书笔记:贝叶斯分类器
文章目录朴素贝叶斯贝叶斯公式判别式模型 & 生成式模型朴素贝叶斯模型使用贝叶斯分类器代码半朴素贝叶斯模型超父-SPODE(Super-Parent ODE)TAN(Tree Augmented Naive Bayes)朴素贝叶斯贝叶斯公式 贝叶斯分类器是基于贝叶斯公式,之前写过一篇关于贝叶斯公式的文章:判别式模型 & 生成式模型 之前的几种模型都是判别式模型,而贝叶斯分类器是一种生成式模型,我自己的一个最简单的理解就是用概率的方式去考虑分类问题–万物皆概率。之前也有过一篇文章:原创 2020-10-05 09:20:22 · 13069 阅读 · 0 评论 -
机器学习读书笔记:支持向量机
文章目录支持向量怎么找这个“超平面”简化对偶问题求解SMO软间隔简化版SMO代码其他核函数SVM回归支持向量 整篇文章大量参考小白学习机器学习,在这里先感谢作者。 支持向量机里最难理解的部分之一就是搞清楚什么是支持向量。我尽量用比较通俗易懂的方式来讲讲我自己的理解。 总的来说,支持向量机就是要通过找支持向量来找划分超平面。 以二维平面的样本来做例子,高维数据样本请自行想象和推理。并且SVM最常用和适用的场景是做二分类,如果是多分类的话需要做一些其他的处理(可以用之前的那种方式,参考之前的博原创 2020-09-22 23:13:09 · 15899 阅读 · 0 评论 -
机器学习读书笔记:神经网络
文章目录神经元感知机 & 多层神经网络神经网络学习多层神经网络误差逆传播算法:BP(BackPropagation)神经网络过拟合问题局部最小与全局最小 现在的深度学习大行其道,深度学习就是利用深度神经网络来进行学习。而什么是深度网络呢,就是隐层大于1的网络(实际上远远大于1)。那啥时候又是隐层呢?这都需要从神经元开始说起。神经元 看看下面这样图: 这就是神经网络中最基本的单元:M-P 神经元。神经元是模仿人类的神经单元组织出现的。 神经元将输入转成输出:输入。输入又包含两原创 2020-09-11 17:21:01 · 14502 阅读 · 0 评论 -
机器学习读书笔记:决策树
文章目录如何形成一颗决策树划分选择信息熵 & 信息增益基尼指数剪枝预剪枝后剪枝连续值 & 属性缺失处理连续值属性缺失多变量决策树如何形成一颗决策树 决策树从结构上来说就是一颗树的数据结构。从根节点开始,每次根据样本中的某个属性就行判断进行分岔,直到叶节点获得分类: 这个很好理解,书中提到了形成一棵决策树的一般算法: 先理解一下这个递归函数的三个返回条件:样本集DDD中的样本全部属于同一个类别。就算样本集合DDD中的属性有不同的取值,但是已经无法为当前的节点进行分岔了,原创 2020-09-07 17:15:02 · 14529 阅读 · 0 评论 -
机器学习读书笔记:线性模型
文章目录前言线性回归一元线性回归一元线性回归python代码多元线性回归多元线性回归python代码二分类问题对数机率回归LDA-线性判别分析多分类问题1对1 O(One) v O(One)一对其他 O(One) v R(Rest)多对多 M(Many) v M & ECOC类别不平衡前言 从线性模型开始,就开始涉及到不同的学习算法和模型了。根据预测结果的不同,可以有几种类型的问题:回归问题,也就是预测值为连续值,y∈Ry \in Ry∈R。分类问题,也就是预测值为离散值,y∈[C1,C原创 2020-08-20 11:35:09 · 20959 阅读 · 0 评论 -
机器学习读书笔记:假设检验(二)
文章目录t检验卡方检验Friedman检验Nemenyi后续检验偏差与方差 之前的一篇关于假设检验的文章主要是针对一个学习算法的假设检验。在真是工作环境中,很多情况下,我们都是想比较两个学习算法到底哪个更好。或者用概率的思路来说,学习算法A比学习算法B更好的机率有多大? 这一篇接着上一篇来讲一讲这个问题。t检验 上一篇也提到了t检验。这里把单算法的假设:μ=ϵ0\mu = \epsilon_0μ=ϵ0改成 μA=μB\mu_A = \mu_BμA=μB,也就是假设两个学习算法的错误率均值原创 2020-08-14 22:47:06 · 19338 阅读 · 0 评论 -
机器学习读书笔记:假设检验(一)
文章目录假设检验假设检验在前一篇文章写到的评估方法与性能评价中(白话机器学习:模型性能评价),我们可以针对某个学习算法去计算出性能指标来。那么这个性能指标是不是真的好呢?因为我们获得的是测试集的性能指标,而不是整个全局的性能指标。又或者说,两个学习期A和B,在测试集上获得了性能指标EaE_aEa和EbE_bEb,哪个更好呢?因为测试集的划分和数据采样的问题,EaE_aEa和EbE_bEb谁好谁坏真的说不准。我们需要比较的不是测试集上的指标,而应该是学习算法在整体数据集上的泛化指标,而泛化指标是原创 2020-08-12 14:39:20 · 19384 阅读 · 1 评论 -
机器学习读书笔记: 模型性能评价
文章目录假设空间性能评价评估方法留出法交叉验证法自助法性能度量错误率与精度查准率 & 查全率P-R图ROC & AUC代价敏感错误与代价曲线假设空间 在周志华老师的《机器学习》一书中提到,模型的训练就是利用训练数据在数据属性构成的“假设空间”中进行搜索,在搜索过程中会删除假设空间的某些假设,最终留下一些假设形成“版本空间”,最终再通过这个模型进行推理。 至于什么是假设空间,假设的删除是怎么生成的,搬运一篇博客,讲的非常清楚:性能评价 机器学习算法是想通过已有的数据来构建模型进原创 2020-08-10 18:29:44 · 18689 阅读 · 0 评论 -
机器学读书笔记:模型--判别式模型 vs 生成式模型
首先我们看一下机器学习的目的,机器学习就是想让机器从大量的现存的数据对中去找到某种规律。当新的数据来了之后,机器可以根据这个规律进行判断。 我们可以把这个数据对抽象的定义为:(X,Y),X=x1,x2...xn(X, Y), X = {x_1, x_2 ... x_n}(X,Y),X=x1,x2...xn 其中X一般来说是一个矢量数据,也就是说从多个“因”推理出某种"果"。 根据数据类型的不一样,比如数据为离散值,我们把这样的数据推理叫做分类,如果数据为连续值,那么这个问题原创 2020-08-05 17:06:58 · 25400 阅读 · 0 评论 -
机器学习读书笔记:贝叶斯公式
贝叶斯公式是机器学习里面最重要的公式之一。这里面理解起来有点点绕,写这篇文章希望能用通俗易懂的语言来描述这个过程,需要严谨的证明过程的朋友可以去翻概率论的教材。 贝叶斯公式是利用观测数据及先验概率来计算后验概率的公式,先祭出公式:P(Y∣X)=P(X∣Y)P(Y)P(X)P(Y|X) = \frac{P(X|Y)P(Y)}{P(X)}P(Y∣X)=P(X)P(X∣Y)P(Y) 我们来拆分一下这个公式中的几个概念,尽量用通俗易懂的语言来描述:X和Y都是随机变量,随机变量用于描述某个随原创 2020-08-03 17:48:30 · 26244 阅读 · 0 评论