机器学习
文章平均质量分 55
transformer从入门到入门
记录问题
展开
-
关于训练模型时的loss及相关指标分析
loss分析原创 2022-03-09 16:47:56 · 1359 阅读 · 0 评论 -
关于softmax和log_softmax区别与联系
softmax的缺点:Softmax是指数标准化函数,又称为归一化指数函数,将多个神经元的输出,映射到 (0,1) 范围内,并且归一化保证和为1,从而使得多分类的概率之和也刚好为1。其公式如下:试想最后一层的输出向量有三个单元Z=[z1=3、z2=1、z3=-3], 此时做softmax,exp(z1)=20、exp(z2)=2.7、exp(z3)=0.05, 根据公式得到各个单元的概率 :exp(z1)/∑exp(zi)=0.88 、exp(z1)/∑exp(zi)=0.12、exp(z1)/∑ex原创 2021-11-22 15:31:28 · 1168 阅读 · 0 评论 -
逻辑回归
简介:逻辑回归(Logistic Regression)是机器学习中的一种分类模型,逻辑回归是一种分类算法,虽然名字中带有回归。由于算法的简单和高效,在实际中应用非常广泛。逻辑回归的输入:逻辑回归的输入就是一个线性回归的结果。逻辑回归的sigmoid激活函数:回归的结果输入到sigmoid函数,输出[0,1]区间中的一个概率值,默认0.5为阈值。逻辑回归最终的分类是通过属于某个类别的概率值来判断是否属于某个类别,并且这个类别默认标记为1(正例),另外的一个类别会标记为0(反例)。(方便原创 2021-03-08 00:20:43 · 536 阅读 · 0 评论 -
特征工程-特征预处理
简介:特征工程即通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程。归一化、标准化当特征的单位或者大小相差较大,或者某特征的方差相比其他的特征要大出几个数量级,容易影响(支配)目标结果,使得一些算法无法学习到其它的特征举例:我们需要用到一些方法进行无量纲化,使不同规格的数据转换到同一规格之间归一化:通过对原始数据进行变换把数据映射到(默认[0,1])之间。但是容易受到异常点影响我们对以下数据进行运算,在dating.txt中。保存的就是之前的约会对象数据。对应api:skl原创 2021-03-07 01:09:52 · 466 阅读 · 0 评论 -
KD树
问题导入:k近邻法最简单的实现是线性扫描(穷举搜索),即要计算输入实例与每一个训练实例的距离。计算并存储好以后,再查找K近邻。当训练集很大时,计算非常耗时。为了提高kNN搜索的效率,可以考虑使用特殊的结构存储训练数据,以减小计算距离的次数。这里介绍的就是KD树简介:为了避免每次都重新计算一遍距离,算法会把距离信息保存在一棵树里,这样在计算之前从树里查询距离信息,尽量避免重新计算。其基本原理是,如果A和B距离很远,B和C距离很近,那么A和C的距离也很远。有了这个信息,就可以在合适的时候跳过距离远的点。原创 2021-03-07 00:47:08 · 9720 阅读 · 0 评论 -
K近邻算法的其他距离公式
欧式距离欧氏距离是最容易直观理解的距离度量方法,我们小学、初中和高中接触到的两个点在空间中的距离一般都是指欧氏距离。举例:X=[[1,1],[2,2],[3,3],[4,4]];经计算得:d = 1.4142 2.8284 4.2426 1.4142 2.8284 1.4142曼哈顿距离:在曼哈顿街区要从一个十字路口开车到另一个十字路口,驾驶距离显然不是两点间的直线距离。这个实际驾驶距离就是“曼哈顿距离”。曼哈顿距离也称为“城市街区距离”(City Block d原创 2021-03-06 21:36:37 · 753 阅读 · 0 评论 -
K-近邻算法
简介:K Nearest Neighbor算法又叫KNN算法,这个算法是机器学习里面一个比较经典的算法, 总体来说KNN算法是相对比较容易理解的算法算法思想:根据你的“邻居”来推断出你的类别 ,即如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。距离公式:两个样本的距离可以通过如下公式计算,又叫欧式距离算法案例:电影类型预测K=5意思是去距离值最近的五部进行类型占比,其中喜剧片3部占的最多,故分类为喜剧片..KNN算法原创 2021-03-06 20:57:50 · 146 阅读 · 0 评论