- 博客(18)
- 收藏
- 关注
RSS订阅原创 pytorch(2)
自定义损失函数函数形式直接以函数形式定义即可def my_loss(output, target): loss = torch.mean((output - target)**2) return loss以类的方式定义需要继承自nn.Module类class DiceLoss(nn.Module): def __init__(self,weight=None,size_average=True): super(DiceLoss,self).__init__() def
2022-03-22 18:11:05
1940
原创 pytorch(一)
张量0维张量是数字，1维张量是向量，2维向量是矩阵，3维向量可以用来储存时间序列数据，股价，文本数据，彩色图片4维可以表示图像集合 5维为视频使用注意：索引出来的结果与原数据共享内存，也即修改一个，另一个也会跟着修改改变tensor大小或者形状可以用torch.view自动求导神经网络的核心包是autograd，为张量上的所有操作提供了自动求导机制，它是一个运行时定义的框架，意味着反向传播是根据大妈如何运行来决定的，并且每次迭代都是不同的。torch.Tensor 是这个包的核心类。如果设置
2022-03-16 08:44:02
136
原创 误差和梯度下降
误差bias+variance具体展示：bias是瞄准的中心与实际中心的距离，variance是实际得到的位置和瞄准位置的偏差为什么简单的model散的比较开呢，是因为越简单的model被简单数据的影响越小，variance越小如果model没有fit the training data 欠拟合如果在training data 上比较好的拟合了，但是在testing data上表现不好，那就是overfitting对于large variance可以增加data，或者进行正则化cross
2022-01-14 20:38:55
1909
原创 李宏毅机器学习-回归
回归：Regression 就是找到一个函数 function ，通过输入特征x，输出一个数值Scalar。模型步骤线性模型y=b+∑wixiy=b+\displaystyle\sum w_ix_iy=b+∑wixi判断模型的好坏因为会得到一堆模型，怎么来判断模型的好坏呢，可以在定义一个损失函数挑选最好的function可以用到梯度下降首先随机选取一个w之后计算梯度值，对w,b进行更新当参数有多个的时候在线性回归中，其实在线性模型里面都是一个碗的形状（山谷形状），是没有l
2022-01-12 18:35:50
276
原创 降维和度量学习（二）
流形学习“流形”：在局部有欧式空间的性质虽然样本在高维空间中的分布看起来非常复杂，但只要他们在聚不上仍具有欧式空间的性质，因此可以在局部建立降维映射关系，然后再设法将局部映射关系推广到全局。等度量映射保持近邻样本之间的距离，因为测地线距离和高位空间的直线距离是不相等的其中，近邻图如何构建k近邻图：指定k个点为近邻点\epsilon 近邻图：定义距离阈值epsilon对于新样本如何变换构建高维坐标和低维坐标的回归器局部线性嵌入算法度量学习每个空间其实对应了样本属性上定义的距离度量
2021-12-31 09:02:03
332
原创 聚类的一些算法
本文参考西瓜书第九章聚类任务在无监督学习中，训练样本的标记信息是位置的，目的是通过对无标记的训练样本的学习来揭示数据内在性质与规律。聚类试图将数据集中样本划分为若干个通常是不相交的子集，每个子集都称为一个簇。性能度量聚类性能度量大致分了两类，一类是将聚类结果与某个参考模型进行比较，称为外部指标，另一类是直接考察聚类结果而不利用任何参考模型，称为内部指标具体这里见西瓜书p199距离计算对于函数dist(.,.),需要满足一些基本性质非负性：dist(xi,xj)<0非负性： dist
2021-12-14 15:34:37
472
原创 降维和度量学习
KNN k近邻学习KNN：近朱者赤。基于与待测样本最近的k个样本的信息进行预测1NN：最近邻分类器，待测样本标签与之最近的 样本标签一直给定测试样本x，若与之最近邻样本为z，则最近邻分类器出错的概率为P(err)=1−∑c∈yP(c∣x)p(c∣z)P(err)=1-\displaystyle\sum_{c∈y}P(c|x)p(c|z)P(err)=1−c∈y∑P(c∣x)p(c∣z)其中要求了x与z充分接近，上面的结论其实是要求了样本密度比较大的时候，所以当样本维度比较大的时候，就不方面
2021-12-13 15:57:52
1301
原创 集成学习（一）
个体与集成集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务，有时也称为多分类器系统，基于委员会的学习等。集成学习先产生一组“个体学习器”，再用某种策略将他们结合起来。个体学习器通常由一个现有的学习算法从训练数据中产生。例如，决策树算法，bp神经网络。“神经网络集成”中全是神经网络，这样的集成就是“同质”的，同质集成中的个体学习器亦称为“基学习器”，相应的算法叫做“基学习算法”。集成中也可包含不同类型的个体学习器，这样的集成是“异质”的关于集成的个体学习器：首先要求他
2021-12-06 14:20:50
995
原创 关于机器学习模型的可解释性算法
目前很多机器学习模型可以做出非常好的预测，但并不能很好的解释他们是如何进行预测的。这样就很难知道为什么算法会得到这样的预测结果。下面有几种可以提高机器学习模型的可解释技术。本文参考了datawhale的文章杰少 DatawhalePartial Dependence Plot (PDP)部分依赖图显示了一个或两个特征对ML模型预测结果的边际影响。部分依赖图可以显示目标和特征之间的关系是线性的、单调的还是更复杂的x轴表示特征的值，y轴表示预测值。PDP的实线显示了平均预测如何随着值的变化而变化
2021-12-05 13:13:48
1336
原创 支持向量机（1）
算法原理从几何角度，对于线性可分数据集，支持向量机就是找距离正负样本最远的超平面，其解是唯一的，且不偏不倚，泛化性能更好。在样本空间中，划分超平面可以通过如下线性方程来描述：wTx+b=0w^Tx+b=0wTx+b=0其中w为法向量，决定了超平面的方向，b为为位移项，决定了超平面与原点之间的距离。关于超平面：几何间隔:支持向量机模型：策略关于第一个式子的理解：找到数据集里的数据到超平面距离最小的那个让他最大化最大化问题可以转为最小化问题...
2021-11-29 19:26:13
146
原创 感知机和神经网络
神经元模型神经网络中最基本的成分是神经元模型，“M-P神经元模型”：神经元收到来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的链接进行传递，神经元接收到的总输入值将与神经元的阈值进行比较，然后通过激活函数处理。感知机感知机...
2021-11-28 16:37:00
916
原创 决策树（一）
基本流程决策树是异类常见的机器学习方法，以二分类任务为例，我们希望从给定训练数据集学得一个模型以对新示例进行分类，决策树是基于树的结构进行决策的。一般地，一颗决策树包含一个根节点，若干个内部节点和若干个叶节点，叶节点对应于决策结果，其他各个节点则对应于下一个属性测试。算法原理从逻辑角度，一堆if else语句的组合从几何角度，根据某种准则划分特征空间最终目的：将样本越分越纯信息熵自信息...
2021-11-23 15:54:28
537
原创 线性回归（三）
线性判别分析线性判别分析(Linear Discriminant Analysis,简称LDA)是一种经典的线性学习方法，在二分类问题上因为最早由Fisher, 1936] 提出,亦称“Fisher判别分析”思想原理（模型）从几何的角度，让全体训练样本经过投影给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近（同类样本方差小），异类样例尽可能原理，在对新鲜样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别....
2021-11-21 17:21:59
569
原创 对数几率回归-逻辑回归
算法原理上一节内容讨论了如何使用线性模型进行回归模型，但要做回归任务要如何呢？只要找一个单调可微的函数将分类任务的真实标记y与线性回归模型的预测值联系起来在线性模型的基础上套一个映射函数来实现分类功能sigmoid函数f(x)=11+e−zz∈R f(x)= \frac{1}{1+e^{-z}} z∈Rf(x)=1+e−z1z∈R对于这个函数的解释：最大熵，对数几率z=wTx+bz=w^Tx+b z=wTx+b可变化为lny1−y=wTx+bln \frac{y}{1-y}=w^Tx+
2021-11-20 00:09:02
690
原创 机器学习概论（西瓜书一二章）
概论基本术语数据集：一组记录的集合，其中每条记录是关于一个事件或者对象的的描述属性/特征：反映事件或者对象在某方面的表现或者性质的事项，属性上的取值是属性值属性空间/样本空间/输入空间：属性张成的空间特征向量：由于空间中的每一个点对应一个坐标向量，因此把一个事例成为特征向量训练数据：从数据中学得模型的过程成为学习或者训练，训练过程中使用的数据称为训练数据集，其中每个样本称为一个训练样本假设：学得模型对应了关于数据的某种潜在规律分类问题：预测的是离散值回归：预测的是连续值聚类：将训练集的
2021-11-19 21:49:29
962
原创 线性回归（一）
线性回归3.1 基本形式线性模型试图学弟一个通过属性的线性组合来进行预测的函数，即：f(x)=w1x1+w2x2+...bf(x)=w_1x_1+w_2x_2+...bf(x)=w1x1+w2x2+...b一般向量形式写成f(x)=wT+bf(x)=w^T+bf(x)=wT+b其中w=(w1;w2;..;wd)w=(w_1;w_2;..;w_d)w=(w1;w2;..;wd)3.2 线性回归“线性回归”试图学得一个线性模型以尽可能准确地预测实值输出标记对于离散属性，若属性值
2021-11-18 19:49:45
560
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人