DL
文章平均质量分 89
HDU-Dade
这个作者很懒,什么都没留下…
展开
-
NAS论文阅读小记一
NAS综述神经架构搜索(NAS)是自动化神经网络架构设计的过程,因此是机器学习自动化的下一步。NAS可以被视为AutoML的子域,并且与超参数优化和元学习具有显着的重叠。可以根据搜索空间、搜索策略和性能评估策略三个维度对NAS的方法进行分类:搜索空间搜索空间定义了原则上可以表示哪些神经网络结构。结合非常适合某一任务的先验知识可以减小搜索空间的大小并简化搜索。但是,这也引入了人为偏见,这可能会阻止寻找超越当前人类知识的新颖的网络结构部件。链式神经网络的搜索空间。原创 2023-01-09 18:32:46 · 718 阅读 · 0 评论 -
Prefix-Tuning: Optimizing Continuous Prompts for Generation
参考。原创 2022-07-27 10:27:40 · 880 阅读 · 0 评论 -
【芝麻街一家】& Bert Bart RoBERTa
bert bart roberta原创 2022-07-24 09:00:06 · 1970 阅读 · 0 评论 -
BERT 详解
BERT全称为,是Google以无监督的方式利用大量无标注文本「炼成」的语言模型,其架构为Transformer中的Encoder(BERT=EncoderofTransformer)以往为了解决不同的NLP任务,我们会为该任务设计一个最合适的神经网络架构并做训练,以下是一些简单的例子不同的NLP任务通常需要不同的模型,而设计这些模型并测试其performance是非常耗成本的(人力,时间,计算资源)。如果有一个能直接处理各式NLP任务的通用架构该有多好?......原创 2022-07-17 18:54:57 · 1843 阅读 · 0 评论 -
【Transformer】李沐论文逐段精读学习笔记
贡献:网络简单,且跟之前的网络结构都不一样,不使用rnn或cnn的单元。并行度更好,训练快很多。在机器翻译上取得了更好的效果。本文提出的Transformer是第一个纯基于attention的序列转录模型,使用multi-head self-attention替代了之前的rnn结构。在机器翻译上,比RNN和CNN都要快,还取得了新的SOTA。介绍了传统的RNN,CNN以及encoder-decoder架构。分析了RNN的缺点:难以并行。容易遗忘。再介绍了attention机制。最后提出了一个全新的架构Tra原创 2022-07-10 18:08:07 · 2344 阅读 · 0 评论 -
从Encoder-Decoder到Attention
attention机制attention分数原创 2022-07-10 18:03:40 · 515 阅读 · 0 评论 -
【CNN】浅谈经典神经网络Classic Network
浅谈经典神经网络原创 2022-06-23 17:11:02 · 534 阅读 · 0 评论 -
【Pytorch写法】tensor与GPU
pytorch 张量与GPU写法原创 2022-06-20 20:54:33 · 756 阅读 · 0 评论 -
Pytorch Fcn 《动手学深度学习》
Pytorch Fcn 复现《动手学深度学习》目录参考资料代码效果对比目录参考资料李沐《动手学深度学习》github_deep_learning_500问(图像分割篇)Voc Pascal 2007(数据集)代码train.py# -*- coding: utf-8 -*-"""Created on Mon Apr 20 23:21:02 2020@author: ZLH"""from torch import optimimport torch.nn as nnfrom t原创 2020-05-27 09:20:50 · 583 阅读 · 0 评论