文件处理
文章平均质量分 81
在代码实战中遇到的各种文件处理问题,归纳总结
我想吃鱼了,
name=lambda comma : '我想吃鱼了'+ str(comma)\\name(',')
展开
-
从零实现NMS
说多说少都是泪,被问到NMS如何实现的时候侃侃而谈,但是一旦从零手写就捉襟见肘,往后再学习的时候一定作到从零书写每一块代码。原创 2023-06-09 19:58:54 · 192 阅读 · 0 评论 -
d2l BERT预训练(model+dataset*+train)
## 构造辅助损失函数,用于计算mlm和nsp的损失值,相加### mlm_Y_hat为为对应Tmask预测的各个类分数;nsp_Y_hat为(bs,2),为对应句子对是否为相连的。#@save# 前向传播# 计算遮蔽语⾔模型损失# 计算下⼀句⼦预测任务的损失这里计算损失就不要encoder_out了。注意mlm_l计算式,除weights是<pad>不算loss,最后再除weights数表示对每个预测取平均值。原创 2023-04-27 14:19:08 · 1049 阅读 · 0 评论 -
d2l Transformer
终于到变形金刚了,他的主要特征在于多头自注意力的使用,以及摒弃了rnn的操作。原创 2023-04-23 19:59:35 · 860 阅读 · 5 评论 -
d2l 使用attention的seq2seq
这一章节与前面写好的function关联太大,建议看书P291.这章节主要讲述了添加attention的seq2seq,且只在decoder里面添加,所以全文都在讲这个decoter。原创 2023-04-22 22:04:45 · 662 阅读 · 0 评论 -
d2l 注意力评分函数 --附加mask_softmax讲解
本章节tensor处理操作也不少,逐个讲解下:原创 2023-04-21 22:03:43 · 1273 阅读 · 0 评论 -
d2l Nadaraya-Waston核回归
注意力机制里面的非参数注意力汇聚。原创 2023-04-19 17:04:55 · 330 阅读 · 0 评论 -
d2l解码编码器与seq2seq
总结一下简介实现rnn的输入输出,输入为X(T,bs,emb);net = nn.rnn(input,h)改为nn.GRU\LSTM都一样,都为(input,h)。在数据处理后,input可以为emb,或者是上述的emb+h。通过nn的net处理后得到的都是(T,bs,h)。原创 2023-04-18 22:18:08 · 792 阅读 · 1 评论 -
d2l机器翻译数据集
两组(bs,T)+(bs);分别表示features与labels的bs个长为T的最终标号,与该bs对应的valid_lenprint('X的有效⻓度:', X_valid_len)print('Y的有效⻓度:', Y_valid_len)break'''X的有效⻓度: tensor([4, 4])Y的有效⻓度: tensor([3, 3])'''原创 2023-04-18 21:40:24 · 722 阅读 · 0 评论 -
d2l 里面GRU与Lstm实现
此二者的本质都是对rnn进行改良:关注当前多还是关注之前多。原创 2023-04-14 10:33:53 · 269 阅读 · 0 评论 -
d2l从零与简洁实现RNN
一层循环神经网络的输出被用作下一层循环神经网络的输入''''''这里的X经过rnn得到的Y,输出的是(T,bs,hiddens),不涉及层的运算,指每个时间步的隐状态state尺寸为(隐藏层数,bs,hidden)''''''torch里面的rnnlayer只包括隐藏层,不包括输出层。原创 2023-04-13 17:45:16 · 1491 阅读 · 0 评论 -
d2l语言模型--生成小批量序列
对语言模型的数据集处理做以下汇总与总结。原创 2023-04-11 21:59:59 · 739 阅读 · 2 评论 -
d2l 文本预处理textDataset
这一节极其重要,重要到本来是d2l的内容我也要归到pyhon封面,这里面class的操作很多,让我娓娓道来!原创 2023-04-10 19:03:37 · 866 阅读 · 0 评论 -
d2l Markov序列模型
本节的任务是使用Markov模型对后续序列进行预测,使用sin函数+噪声绘制1000个样本点,取tau为4,即利用后四个的信息预测第五个。原创 2023-04-10 18:06:03 · 483 阅读 · 0 评论 -
d2l风格迁移--包含tensor与pil图片互换操作
对13章风格迁移任务进行讲解,并对其中的部分操作如pil与tensor呼唤进行具体介绍,方便后续调用!原创 2023-04-06 15:42:02 · 314 阅读 · 0 评论 -
d2l FCN全连接网络 --children()调用部分原网络操作与分割任务loss计算流程
在此讲解FCN全连接网络,主要介绍里面的children()拾取原网络中部分网络层并附加新网络层的操作,并对分割任务的loss计算流程进行了debug,为后续类似做法做参考。原创 2023-04-06 16:19:33 · 259 阅读 · 0 评论 -
d2l banana之目标检测数据集dataset创建与加载
上一节讲的cls的创建dataset还是使用的处理复制文件从而直接导入的傻瓜方法,该类方法在后期数据集特别大时会造成内存的重复读取耗时问题。且目标检测领域dataset类是避不开的,所以针对沐神的代码进行dataset从0开始搭建!原创 2023-03-24 16:51:54 · 996 阅读 · 6 评论 -
d2l第13章的两个kaggle,以及该章的aug,finetune,cls的dataset处理
本文从dog种类kaggle开始着手,其中包含各种详细说明,如文件处理,aug,finetune,图像分类的dataset创建过程等等。并在文章最后附上补充条目。原创 2023-03-20 21:26:23 · 463 阅读 · 0 评论 -
d2l过拟合章节引申出多项式回归流程
这里输入模型,数据集loader,损失函数,得到损失函数的平均值(总损失/样本总个数)"""评估给定数据集上模型的损失"""metric = d2l.Accumulator(2) # 损失的总和,样本数量。原创 2023-03-10 16:49:46 · 292 阅读 · 0 评论 -
d2l房价预测与pandas文件处理
这一章可以说是干货满满了,有文件处理,也有大量的数据集准备,详细见下文!原创 2023-03-11 21:17:36 · 549 阅读 · 0 评论 -
d2l现代卷积神经网络(全部更新完成)
对第七章节的AlexNet、VGG、NiN、GoogLeNet、ResNet、DenseNet进行讲解。原创 2023-03-14 22:06:56 · 769 阅读 · 0 评论 -
torch中的张量处理
这篇博文是持续更新博文,记录tensor各种操作的爱恨情仇。每天学一点,十天学十点,亿天学亿点!原创 2023-03-13 22:10:09 · 225 阅读 · 3 评论 -
d2l基础LeNet实现与ch6各类基础函数讲解
众所周知第七章在复现各大神经网络的时候也会用到ch6定义的各种函数,为了方便理解其中的细节,在这里具体讲解一下!原创 2023-03-13 22:00:11 · 2010 阅读 · 3 评论 -
d2l-softmax实现流程
讲解d2lsoftmax章节中训练操作的各个输出输入debug结果,方便学习者直观感受训练流程原创 2023-03-10 15:09:59 · 159 阅读 · 0 评论 -
d2l中各种内定函数的笔记
d2l中各种内定函数的笔记原创 2023-03-06 16:04:07 · 933 阅读 · 0 评论 -
混淆矩阵、ROC曲线以及文件处理
记录了一些图像分类的评价指标与文件处理原创 2023-03-02 13:45:45 · 136 阅读 · 0 评论