![](https://img-blog.csdnimg.cn/a190ea2ab5d040acae59f00ec9d77e29.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习
文章平均质量分 79
深度学习的学习过程记录
小小的香辛料
天落九重影,君便晓黎明炫目。
展开
-
【coding】手写多头注意力
多头的话,就是把d_model拆分成多个头,然后交换sequence_length和n_head进行自注意力计算,得到的张量再还原回去,最后过一层线性层作为输出。公式比较简单,softmax(q*k/sqrt(d_k))*v。记录一个coding模版,记得加上mask和dropout。原创 2023-12-06 12:00:10 · 866 阅读 · 2 评论 -
PaddleNLP登顶FewCLUE小样本学习榜单;AutoPrompt自动化提示功能直接带你原地起飞
组里几个大佬一顿操作猛如虎,直接将FewCLUE小样本榜单打到第一,太牛逼了!其中用到的核心的操作就是AutoPrompt技术,提示学习近两年火得一塌糊涂,也有不少研究机构在陆续将Prompt封装的更加简便易用,比如清华大学的OpenPrompt就做的很nice!一份工作永远可以做的更好,百度PaddleNLP团队在此基础上取其精华去其糟粕,并进行了更多的拓展和设计,力求提升用户极致的体验,比如简单的一件配置即可完成Prompt操作,AtuoPrompt就可以做到这种事情,真正做到“一键使用”。转载 2022-11-13 12:48:58 · 598 阅读 · 0 评论 -
PaddleNLP学习日记(一)CBLUE医疗文本分类
最后来总结一下使用paddlenlp完成医疗文本分类的流程,详细代码请移步医疗文本分类~导包:参考github代码定义指标类别:对于不同的子数据集及任务,使用不同的指标如Accuracy、MultiLabelsMetric、AccuracyAndF1。添加命令行参数:主要用于接受用户从控制台输入的参数。设置随机种子:用于复现训练和测试结果,方便后续进行调试。定义评估方法:传入model、数据加载器、评价指标和损失函数,得到数据集对应的指标。原创 2022-11-02 16:33:50 · 2275 阅读 · 0 评论 -
【AI必备利器】GPU薅羊毛指南
现在免费的gpu资源有不少,但很多都限值了只能用自己公司的框架,今天我来给大家分享3个框架不受限制的免费GPU资源。对算法小白用来试手、研究生跑实验极其友好~原创 2022-08-29 17:23:29 · 2927 阅读 · 4 评论 -
浅谈Attention与Self-Attention,一起感受注意力之美
2017年的某一天,Google机器翻译团队发表了《AttentionisAllYouNeed》这篇论文,犹如一道惊雷,Attention横空出世了!(有一说一,这标题也太他喵嚣张了,不过人家有这个资本(o゚▽゚)o)很快Attention就被推上了神坛,搭载着犹如核弹的Transformer,Bert出现了,在NLP的各个任务上屠榜,后来预训练模型遍地开花,在NLP的各个领域大放异彩。让人一度觉得NLP只需要一个Transformer就够了。......原创 2022-07-29 14:30:45 · 2740 阅读 · 1 评论 -
【Coggle 30 Days of ML】汽车领域多语种迁移学习挑战赛(4)
定义数据集读取类和模型类#数据集读取#读取单个样本,0,原创 2022-07-20 10:48:34 · 1108 阅读 · 0 评论 -
【Coggle 30 Days of ML】汽车领域多语种迁移学习挑战赛(3)
下面就用sklearn中的Pipeline将TF-IDF和逻辑回归这两个估计器打包,再打训练集的日语和英文拼起来(这是一种很棒的处理方式)传入Pipeline进行fit。这里值得一提的是TF-IDF的实现用了TfidfVectorizer,我注意到sklearn的官方文档中不止这一个方法去实现TF-IDF,还有下图的。减少了代码量,更重要的是,可以在网格化搜索中使用pipline。给定训练集corpus和测试集corpus_test,使用tf-idf算法得到对应语料的tf-idf值。...原创 2022-07-15 13:11:53 · 397 阅读 · 0 评论 -
【Coggle 30 Days of ML】汽车领域多语种迁移学习挑战赛(2)
目录任务 Just Do It!1.中文分词:jieba编辑 2.日语分词:nagisa支持4种模式示例代码: 对应到比赛中,代码为 2.日语分词:nagisaGitHub - taishi-i/nagisa: A Japanese tokenizer based on recurrent neural networks示例代码:对应到比赛中,代码为:结果为:比赛对英文的处理其实比赛中英文不需要处理,因为英文单词本身就是以空格区分的,所以本身就相当于做了分词了。只需要将大写原创 2022-07-13 17:55:33 · 375 阅读 · 0 评论 -
【Coggle 30 Days of ML】汽车领域多语种迁移学习挑战赛(1)
目录前言任务 Just Do It!1.导包 2.读取训练和测试数据集3.查看训练集和测试集的字段类型 该系列为博主跟着阿水做的30天入门数据竞赛,比赛是科大讯飞的汽车领域多语种迁移学习挑战赛。会持续更新打卡,并在一些地方加入自己的理解。考虑到后期冲榜,最优版方案可能会在比赛结束后再更新。为了规范代码,建议第一步统一导包。2.读取训练和测试数据集这里我其实是遇到了报错的。因为最近从jupyter notebook和PyCharm转vs code了(vs code太爽了!真香!原创 2022-07-13 17:11:47 · 234 阅读 · 0 评论 -
预训练是什么?预训练和直接训练的区别?
一个劲说预训练模型,所以说到底什么是预训练模型?本文就以最简单的视角切入,以一个例子让你明白预训练到底是什么?它和我们平时最常说的直接训练的区别又是什么?个人理解假设有一个任务:现在有个紧急比赛,需要让我们的小baby在一个月内学会跑步!直接训练方式:我之前什么都没教过他,直接让他学会怎么跑步。那他还要自己摸索怎么爬,怎么站立?这两步学会了才能学跑步。这是我们正常的学习思维。但是他本身就是一个小baby,让它自己摸索爬和站立的过程是非常长的。等他学完这两步比赛都结束了!我们知道训练一个神原创 2022-05-19 17:08:33 · 18869 阅读 · 24 评论 -
《动手学深度学习》--- 文本预处理
做了什么事?读取《时光机器》这本书 建立词表 通过词表将这本书转化为向量表示Code#!/usr/bin/env python# -*- coding: UTF-8 -*-"""@Project :深度学习入门@File :文本预处理.py@Author :little_spice@Date :2022/5/11 18:13"""import collectionsimport refrom d2l import torch as d2l# 读取数据集:从H.G...原创 2022-05-11 22:12:44 · 1244 阅读 · 2 评论 -
《动手学深度学习》--- 序列模型实现
参考沐神8.1. 序列模型 — 动手学深度学习 2.0.0-beta0 documentationhttps://zh-v2.d2l.ai/chapter_recurrent-neural-networks/sequence.html亮点简要概述自回归模型 如何将x=[x1,x2,,,xn] y=[y1,y2,,,yn]转化成序列数据?这里的处理方法让人眼前一亮!决定拿小本本记下来,以后套用。 马尔科夫性质和马尔科夫模型的简要讲解,后面的序列模型很多基于此性质。 单步预测效果尚可,多步效.原创 2022-05-11 16:50:19 · 1204 阅读 · 0 评论 -
《动手学深度学习》--- ResNet实现
参考沐神7.6. 残差网络(ResNet) — 动手学深度学习 2.0.0-beta0 documentationhttps://zh-v2.d2l.ai/chapter_convolutional-modern/resnet.htmlResNet结构这次就浅记一下,不深入讲解了。创新点是引入残差块,残差块有很好的性质。先看下面内容再展开残差块。简单说一下上图,对于输入X和标签y,我们希望学习一个好的函数F来尽可能正确预测给定输入...原创 2022-05-09 21:42:26 · 852 阅读 · 0 评论 -
《动手学深度学习》--- LeNet实现
参考沐神6.6. 卷积神经网络(LeNet) — 动手学深度学习 2.0.0-beta0 documentationhttps://zh-v2.d2l.ai/chapter_convolutional-neural-networks/lenet.htmlLeNet的结构图这里沐神稍微做了一点小小的变化,就是最后全连接后面的高斯连接层去掉了,其他和LeNet是完全一样的!LeNet流程输入图片为28*28,经过2次卷积+池化操作,最后接3个全连接层。具体来说:输入通道数为1,.原创 2022-05-08 22:36:30 · 1018 阅读 · 0 评论 -
【五一技术分享】感知机、多层感知机是什么?(Pytorch实现)
【五一技术分享】介绍感知机、多层感知机的概念、理解以及代码实现原创 2022-04-29 21:00:09 · 682 阅读 · 2 评论 -
人工智能好文汇总
(自信息:某个消息X出现的不确定性的大小)含义:①信源的平均不确定性的大小②信源输出消息平均所含的信息量联合熵:二维随机变量XY的联合熵定义为联合自信息的数学期望,表征XY的不确定性条件熵:条件熵定义为给定条件下Y的条件概率分布的熵对X的数学期望其中,联合熵=信息熵+条件熵。超平面、Wx=b或Wx+b=0的几何意义超平面的理解Wx=b或Wx+b=0的几何意义超平面的理解二维空间中,满足 ax + by + c = 0 的所有点 (x, y) 在几何上是一条直线(类似于 y = k1x + k2)。原创 2022-02-24 23:45:27 · 1157 阅读 · 0 评论 -
《动手学深度学习》---从零开始实现softmax回归
前言内容来自09 Softmax 回归 + 损失函数 + 图片分类数据集【动手学深度学习v2】_哔哩哔哩_bilibili动手学深度学习 v2 - 从零开始介绍深度学习算法和代码实现课程主页:https://courses.d2l.ai/zh-v2/教材:https://zh-v2.d2l.ai/https://www.bilibili.com/video/BV1K64y1Q7wu?p=43.6. softmax回归的从零开始实现 — 动手学深度学习 2.0.0-beta0 documentatio原创 2022-04-24 14:25:56 · 2656 阅读 · 1 评论 -
《动手学深度学习》---线性回归的从零开始实现的一些理解
李沐《动手学深度学习》---线性回归的从零开始实现的理解和笔记原创 2022-04-13 19:54:21 · 1911 阅读 · 4 评论 -
CNDeepDive资源下载
该资源不需要积分!不需要积分!不需要积分!只想分享,不想拿积分恶心人!CNDeepDive的目录结构如下由于csdn上传资源限制在1g,但总资源大于1g,因此拆分成4部分上传。deepdive-v0.8-STABLE-Darwin.tar.gz:直接下载即可,下载完了就是压缩包格式 deepdive-v0.8-STABLE-Linux.tar.gz:直接下载即可,下载完了就是压缩包格式 dependency压缩包:我把dependency文件夹压缩了一下,解压即可 otherCN.原创 2022-04-24 10:50:45 · 364 阅读 · 1 评论