![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
缘木求鱼_1
从人工智能到网络运维
展开
-
建模调参
建模调参 五折交叉验证 在使用训练集对参数进行训练的时候,经常会发现人们通常会将一整个训练集分为三个部分(比如mnist手写训练集)。一般分为:训练集(train_set),评估集(valid_set),测试集(test_set)这三个部分。这其实是为了保证训练效果而特意设置的。其中测试集很好理解,其实就是完全不参与训练的数据,仅仅用来观测测试效果的数据。而训练集和评估集则牵涉到下面的知识了。 ...原创 2020-04-01 19:37:10 · 342 阅读 · 0 评论 -
数据的特征工程
StratifiedKfold和KFold的区别 StratidfiedKfold和KFold交叉验证,都是将训练集分成K份,其中K-1份的训练集,1份的验证集。 不过特别的是StratifiedKfold将验证集的正负样本比例,保持和原始数据的正负样本比例相同 特征归一化(标准化) 在数据挖掘数据处理过程中,不同评价指标往往具有不同的量纲和量纲单位,这样的情况会影响到数据分析的结果,为了消除指标...原创 2020-03-28 19:56:55 · 240 阅读 · 0 评论 -
数据挖掘-数据探索(EDA)
数据探索 EDA(Exploratory Data Analysis) 1.EDA的作用 EDA的作用主要在于熟悉并了解数据集,对数据集进行处理,以便接下来机器学习或者深度学习使用 了解数据集之后,接下来就是了解数据集中各变量间的相互关系,变量与预测值之间的关系 引导数据科学从业者进行数据处理以及后面特征工程的部分,使得数据集的结构和特征集让接下来的预测问题更加可靠 完成对于数据的探索性分析,...原创 2020-03-24 19:30:01 · 500 阅读 · 0 评论 -
【统计学习方法】最大熵模型学习笔记
最大熵模型 1.什么是熵最大原理 最大熵原理就是概率模型的一个准则。最大熵原理认为,学习概率模型时,在所有可能的概率模型分布中,熵最大的模型是最好的模型。通常用约束条件来确定概率模型的集合,所以,最大熵原理也可以表述在满足约束条件时中取熵最大的模型。 例子1:假设随机变量x有5个取值{A,B,C,D,E},要估计各个值的概率P(A),P(B)…P(E). 这些概率值满足条件P(A)+P(B)+P...原创 2019-09-12 11:37:20 · 492 阅读 · 0 评论 -
【统计机器学习】支持向量机
支持向量机 支持向量机是一种二分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器,间隔最大使他有别于感知机;支持向量机还包括核技巧,这使他成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化,可形式化为一个求解凸二次规划的问题,也等价于正则化的合页损失函数最小化问题。 当输入空间为欧式空间或离散集合、特征空间为希尔伯特空间时,核函数表示将输入从输入空间映射到特征空间得到特征向量...原创 2019-09-17 15:54:59 · 173 阅读 · 0 评论