机器学习
文章平均质量分 75
打着灯笼摸黑
这个作者很懒,什么都没留下…
展开
-
论文阅读笔记(12)--- Bert
继续根据李沐读论文学习一下Bert。BertAbstractIntroductionRelated WorkBERTModel ArchitectureInput/Output RepresentationsPre-training BERTFine-tuning BERTConclusionAbstract与其他论文的区别:BERT建立的是双向模型,可以同时利用左右上下文信息进行预测。并且对于预先训练好的Bert模型进行微调,只需增加一个输出层,就可以为各种任务达到很好的效果。实现的结果:绝对精度原创 2022-02-11 20:29:35 · 761 阅读 · 0 评论 -
论文阅读笔记(11)--- Attention is all you need(Transformer)逐段精读
根据李沐读论文学习一下这篇论文。TransformerIntroductionBackgroundModel ArchitectureEncoder and Decoder StacksAttentionScaled Dot-Product AttentionMulti-head AttentionApplications of Attention in our ModelPosition-wise Feed-Forward NetworksEmbeddings and SoftmaxPositional原创 2022-02-11 12:39:18 · 2773 阅读 · 0 评论 -
可解释性(一)之CAM和Grad_CAM
可视化CAMGrad_CAM最近在学习可解释性方面的内容,主要是用cam做可解释性,因此想要系统地学习一下。参考:keras CAM和Grad-cam原理简介与实现GAP CAM Grad-CAM Grad-CAM++的解释pytorch实现所有cam衍生ECG-Grad-CAMCAM将原模型的结构修改:利用GAP(Global Average Pooling)替换掉了全连接层重新进行训练经过GAP之后,得到了最后一个卷积层每个特征图的均值,均值经过加权和得到输出某个类别的权原创 2022-01-06 17:07:55 · 4506 阅读 · 3 评论 -
TF2.0的GPU操作
TF2.0的GPU操作原创 2021-10-11 20:00:38 · 443 阅读 · 0 评论 -
多标签分类问题中keras自定义loss和绝对准确率acc
最近在做多标签分类,多标签分类问题中使用的激活函数和loss计算公式如下:然而keras中没有多标签分类绝对准确率的metrics,同时自己在做多标签分类的时候存在类别不平衡的问题,想使用focalloss平衡一下,这里是找到的可以用于多标签问题的focal_loss,下面两个都可以试试:#用于类别不平衡的focallossdef multi_category_focal_loss1(alpha, gamma=2.0): """ focal loss for multi catego原创 2021-09-01 18:50:38 · 2139 阅读 · 0 评论 -
论文阅读笔记(8-2)---A Study on Threshold Selection for Multi-label Classification
A Study on Threshold Selection for Multi-label Classification第三节和第四节原创 2021-07-22 23:42:42 · 320 阅读 · 1 评论 -
论文阅读笔记(7-1)---Supervised Contrastive Learning
原文链接B站讲解视频研究背景交叉熵损失函数是分类模型监督学习中应用最广泛的损失函数,但是它具有对噪声标签缺乏鲁棒性、边界性差等特点,泛化能力较差。研究成果提出了一个新的扩展对比损失函数,对于每一个锚允许有多个正样本,从而适应对比学习的全监督设置。从分析和经验上,我们证明了所提出方法的性能是最优的。实验结果表明提出的损失函数为许多数据集提供了一致的top1精度提升。它对自然干扰的抵抗力也更强。我们用解析的方法证明了损失函数的梯度有助于从硬正和硬负中学习。我们的经验表明,我们的损失是敏感度原创 2021-06-29 22:23:55 · 1087 阅读 · 2 评论 -
论文阅读笔记(6)---SimCLR
SimCLR算法思想和模型框架的介绍原创 2021-06-29 17:26:55 · 1045 阅读 · 3 评论 -
ECG一维信号去噪方法 python实现总结
对于心电信号的预处理第一步一般都是去噪处理,但是很多论文对于这一步都只是简单带过,为了复现论文所述方法,我感觉走了很多弯路,这里总结一下现在有做出来的一些方法,包括有中值滤波,FIR滤波,butter滤波和小波滤波。原创 2021-04-15 17:21:52 · 11222 阅读 · 14 评论 -
机器学习之K折交叉验证
理论学习代码学习原创 2020-10-28 15:44:00 · 238 阅读 · 0 评论 -
一文看懂迁移学习:怎样用预训练模型搞定深度神经网络?
一文看懂迁移学习:怎样用预训练模型搞定深度神经网络?转载 2020-10-28 14:47:13 · 182 阅读 · 0 评论 -
机器学习之决策树
个人感觉有两篇文章总结的比较好决策树分类实例摘录一下:决策树比较官方的解释是:决策树是广泛用于分类和回归任务的模型。本质上,它从一层层的if/else问题中进行学习,并得出结论。决策树有两个优点:一是得到的模型很容易可视化,非专家也很容易理解(至少对于较小的树而言)。二是算法完全不受数据缩放的影响。由于每个特征被单独处理,而且数据的划分也不依赖于缩放,因此决策树算法不需要特征预处理,比如归一化或标准化。特别是特征的尺度完全不一样时或者二元特征和连续特征同时存在时,决策树的效果很好。决策树的主要缺点在.原创 2020-10-18 16:34:22 · 1688 阅读 · 0 评论