![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 82
一颗磐石
这个作者很懒,什么都没留下…
展开
-
为什么交叉熵可以作为机器学习和深度学习的损失函数?
目录信息论中的信息量和信息熵信息量(自信息)信息熵相对熵(KL散度)和交叉熵为什么交叉熵可以作为损失函数总结信息论中的信息量和信息熵信息量(自信息)无论是原始年代还是现代,人每天都会接收和发送很多信息,这是一件及其消耗精力的事情,那么怎么着才能减缓精力的消耗呢?答案就是避轻就重,优先处理重要的信息。问题来了,使用什么方法才能区分哪些是重要的信息,哪些是不重要的信息呢?在信息论发明出来之前,人们是无法精确地用数值衡量一个事件包含的信息量的,例如,我中了一篇顶会这件事情包含了多少信息?这就是信息的量化。=原创 2022-03-13 15:13:51 · 1227 阅读 · 1 评论 -
初识马尔科夫链,原来是这样的
相信学过随机过程的同学们,一定会知道马尔科夫链。这是一种利用统计方法和模型对大自然中的事物进行处理和预测的算法,例如对股票市场的走向进行判断,对话预测,诗词创作等等。既然马尔科夫链的用处这么广泛,那我们有理由好好认识它一下。马尔科夫链的图例其实马尔科夫链可以看作是是一种较为简单的概率图模型,每个节点以单向或双向的连接方式嵌入到同一图空间内。我们来看一条比较简单的例子。其中每个节点代表的是要分析的随机变量,节点与节点之间的箭头表示了随机变量之间的转换关系。马尔可夫链的核心有三要素:状态空间、无记忆原创 2022-01-12 20:03:21 · 1155 阅读 · 0 评论 -
机器学习之逻辑回归,它到底在回归什么?
导读原创 2021-07-14 10:17:45 · 366 阅读 · 2 评论 -
你要的机器学习常用评价指标,以备不时之需
导读在机器学习中,我们前期经过数据采集、数据清洗,中期进行特征分析、特征选择,后期对处理好的数据集分割,将数据集划分为训练集、验证集合、测试集,最后基于划分好的数据集进行训练调优,并选择性能最好的模型。那么我们是如何评估我们的模型性能好坏的呢?这就不得不说一下常用的机器学习评级指标了。上车~~机器学习评价指标对于机器学习中评价模型性能的指标,常用的有准确率、精度、召回率、P-R曲线、F1 分数、ROC、AUC以及混淆矩阵等。这里我们先以二分类举例讲解,后边推及到多分类即可。在二分类中,我们称呼两类样原创 2021-07-10 14:53:38 · 1348 阅读 · 4 评论 -
你的模型又过拟合了?不如试试L1、L2正则
导读因为L1正则化、L2正则化是为了缓解模型过拟合而提出的,所以在这之前,我们先说一说什么是过拟合以及欠拟合。过拟合在机器学习领域,模型基于数据训练的过程,其实是在学习训练数据的分布模式,在惩罚函数的约束下,它会尽可能地去记住训练数据集中的每一个样本点(即完整地学习到训练数据的分布)。我们拿线性回归举例,线性回归是要拟合一个函数,该函数需要尽可能地经过每个样本点,如图所示。但是众所周知,人为采集的数据集是不完美的,里边会包含缺失值、异常值等噪声,如果该函数将这些噪声也拟合了,这时候模型在训练数据上原创 2021-07-09 22:38:53 · 386 阅读 · 16 评论 -
支持向量机(SVM)原理与python实现
机器学习原理与Python实战系列第一弹——支持向量机(SVM)欢迎观看Scientist的博客第一弹——支持向量机(SVM)预备数学知识支持向量机物理机制函数推导Python代码实现欢迎观看Scientist的博客机器学习原理与Python实战系列是Scientist在闲暇时间撰写的一个AI系列博客,主要对目前主流的机器学习算法进行透彻的原理剖析,并基于Python语言实现。目的是为了帮助广大网友更深入的理解机器学习,培养大家的兴趣,也是对我自身的一个回顾与提升,欢迎大家前来交流。微信公众号:计算机视原创 2021-06-04 19:37:04 · 613 阅读 · 0 评论 -
欧氏距离,曼哈顿距离,余弦相似性度量的定义及其使用场景
####欧氏距离欧式距离是表征两点之间的直线距离,其在k维空间的计算公式为:####曼哈顿距离曼哈顿距离表示的是两点之间连线对各个坐标轴投影的长度总和,其示意图和计算公式如下:原创 2021-04-07 17:14:49 · 2510 阅读 · 0 评论 -
谈组合特征以及如何处理高维组合特征
在机器学习项目中,我们提取出特征之后,进行建模分类回归,可能会发现效果比较差,这很有可能是在既有地特征空间这些样本的可分性较差,比如我们使用线性模型,但样本在既有特征空间是线性不可分的。这是我们可以采取组合特征的方法,让样本可分性提升。例如我们要对一堆方框进行分类,原来的特征有[Height,Width],我们可以将Height和Width进行相乘组合得到面积S,那么现在特征向量变为[Width,Height,S],这样做就将一阶特征变为了二阶特征,提高了特征的非线性表达能力,学术语叫做对非线性规律进行编码原创 2021-04-07 16:59:59 · 858 阅读 · 0 评论 -
讲讲特征归一化
导读无论是在机器学习还是深度学习领域,特征归一化都是我们经常用到的一项技术。刚入行的小白在看各种课程、视频的时候肯定也经常遇到它。说到底,什么是特征归一化呢?它有什么作用呢?怎么进行特征归一化?什么时候需要进行特征归一化而什么时候不需要呢?下面我们就根据上面的夺命连环问说一说特征归一化的“底细”。什么是特征归一化特征归一化=特征+归一化。特征,搞机器学习的都熟悉,首先我们获取的是一批原始数据,然后我们挖掘这些数据之间的规律和模式,找到最能表征这批数据本身的属性,并且这些属性能有利于我们后续的回归和原创 2021-04-07 15:54:20 · 1181 阅读 · 0 评论 -
感知机
感知机感知机模型感知机学习策略感知机学习算法原始形式对偶形式感知机模型感知机是用于二分类的线性分类模型,属于判别模型,其输入空间是样本实例地特征向量,输出是集合Y=[+1,−1]Y=[+1, -1]Y=[+1,−1]。从几何视角出发,感知机旨在特征空间中学习一个将正负样本分开的分离超平面。确定模型地形式之后,引入经验风险和结构风险,将分类问题转变为最优化问题,利用梯度下降的算法求得参数向量,获取感知机模型。感知机模型是神经网络和支持向量机的基础下面将二分类问题抽象到代数层面上来,如下:假设输入空间是原创 2020-07-24 19:13:48 · 2816 阅读 · 0 评论 -
统计学习方法概述
统计学习方法概论学习统计学习统计学习的特点统计学习的目的统计学习的方法监督学习基本概念输入空间、特征空间与输出空间联合概率分布假设空间统计学习三要素模型策略损失函数和风险函数损失函数风险函数经验风险最小化和结构风险最小化算法过拟合与模型选择正则化交叉验证简单交叉验证K折交叉验证留一交叉验证泛化能力泛化误差上界生成方法和判别方法生成方法判别方法分类问题功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右Sma原创 2020-07-23 16:52:44 · 3416 阅读 · 0 评论 -
异常检测简介与python实现
异常检测背景介绍机器学习前期大部分工作都属于特征工程的范畴,我们通过各种方法搜集到最能够表达研究对象的特征,然后选择合适的机器学习算法对特征进行回归、分类等。我们的研究对象是多样的,因此搜集到的特征也是多样的,我们要做的就是根据这些特征进行监测和分类。异常检测(Anomaly Detection),也叫做离群点检测(Outlier Detection),属于机器学习与现实紧密结合,并且有广泛应用场景的一类问题。顾名思义,异常检测就是用来检测异常情况的,在机器学习中,当出现异常情况的时候,必然会出现离群点原创 2020-06-08 16:55:35 · 2971 阅读 · 0 评论