论文复现
愚昧之山绝望之谷开悟之坡
人工智能智慧城市元宇宙pf,无无明亦无无明尽
展开
-
12-Chinesebert分享
其实就是融合图像,语音,文本的多模态模型拼音就代表了语音的信息,用text cnn的方式学习资料推荐1万小时定律,三年学基础,然后追定会论文,然后追最新的博客分享,有缓到紧的追原创 2021-09-14 10:22:41 · 194 阅读 · 0 评论 -
paper_longformer1
自顶向下,整体到细节一、首先找到对应的是属于哪个范式的论文机器学习(特征工程),神经网络(结构工程)、预训练(目标函数)、预训练提示预测(提示),每个范式都有相应的典型代表目前预训练比较典型,分为,编码、解码、编码-解码二、严格按照步骤执行三 tokenizer也是整体到细节一共这几个类型,每个都有相应的代表sentencepiece wordpiece bpe考虑到对外网的屏蔽直接在colab,本地写好代码直接上操作即可tokenizer对齐"""colab上运行安装包!p原创 2021-09-11 19:44:12 · 1346 阅读 · 0 评论 -
9-自定义算子
神经网络操作的数据就是张量,对张量的各种操作,就是算子自定义算子的原因外部算子就是C++,python的智能模拟,严格上不叫算子操作逻辑python自定义算子前向和反向函数神经网络的计算过程非常清洗的表示而已两个类的区别前向反向注意事项官方开发手册有详细的介绍C++自定义算子这个才是真正的底层和核心,比只会python调库强多了,当然是在python调库已经炉火纯青的前提前向反向相关维度和类型二维矩阵算子注册JIT编译.原创 2021-09-01 20:41:19 · 707 阅读 · 0 评论 -
8-GAN复现
分类任务,和生成任务,GAN是分类和生成的综合,可以做文本生成图片,图片风格迁移,图片翻译,超分辨率判别器训练生成器训练原创 2021-08-25 10:55:49 · 281 阅读 · 0 评论 -
7-图像分割
图像分割,其实就是像素级别的分类目标检测的是object级别的,不包含背景图像分类-语义分割把图片的里面的像素进行划分 包含背景目标检测-实例分割,边框轮廓划分起来 不包含背景全景分割 语义分割和实例分割结合3应用数据集和评价指标难点 数据,模型:速度和准确度,硬件框架优势数据增强模型库压缩和部署案例复现流程...原创 2021-08-24 10:25:32 · 90 阅读 · 0 评论 -
论文复现数据集快速查找方法 看论文里相关数据集的引用论文,一般在那里有介绍
wikihop:http://qangaroo.cs.ucl.ac.uktriviaqa:http://nlp.cs.washington.edu/triviaqa/arxiv:https://github.com/armancohan/long-summarization看论文里相关数据集的引用论文,一般在那里有介绍原创 2021-08-20 11:05:23 · 2191 阅读 · 0 评论 -
6-分类OCR
各个方向的数据集要非常熟悉都有什么常用的网络也要非常熟悉看论文三部曲,解决的问题,怎么解决的,效果如何怎么解决又有方向分析,数据,网络,loss,后处理等网络又分,backbone-neck-head代码步骤...原创 2021-08-20 09:48:28 · 74 阅读 · 0 评论 -
5-推荐系统复现
推荐系统架构理解模型视角复现全景图原创 2021-08-19 09:52:28 · 248 阅读 · 0 评论 -
4-NLP复现
NLP技术范式发展非神经网络范式神经网络预训练预训练提示,更改下游任务结构适配预训练模型,充分发挥预训练模型的知识预训练模型基类代码和论文对着读,找论文的创新点并且对应到代码里面去;对齐tokenizer对齐models是直接转换训练好的模型...原创 2021-08-18 11:51:15 · 276 阅读 · 0 评论 -
3-目标检测复现
分类加回归的组合而已分层定位和解决问题对齐多伦的loss原创 2021-08-17 11:05:26 · 70 阅读 · 0 评论 -
ERNIE-DOC
标题:百度|ERNIE-DOC: A Retrospective Long-Document Modeling Transformer(长文本理解模型 ERNIE-Doc)简介:变换器由于二次增加的内存和时间消耗而不适用于处理长文档。只是截断长文档或应用稀疏注意力机制将引起上下文碎片问题或导致对可比较的模型尺寸。在本文中,我们提出ERNIE-DOC,这是基于递归的文档级语言预训练模型变换器。两种精心设计的技术,即回顾性喂食机制和提高的复发率机制,启用ERNIE-DOC, 其中有有效上下文长度更长捕获完整文原创 2021-08-15 18:01:06 · 1373 阅读 · 0 评论 -
ERROR: Could not install packages due to an EnvironmentError: [WinError 5] 拒绝访问。: ‘e:\\users\
相应的安装包,去对应的官方网站寻找对应的安装方式,https://pytorch.org/get-started/locally/pip3 install torch1.9.0+cu102 torchvision0.10.0+cu102 torchaudio===0.9.0 -f https://download.pytorch.org/whl/torch_stable.html在这条指令后面加个–userpip3 install torch1.9.0+cu102 torchvision0.10.0+原创 2021-08-14 12:16:31 · 156 阅读 · 0 评论 -
pytorch的tensor不能通过total_pure_loss[0]取数值通以下方式,否则会报错
pytorch的tensor不能通过total_pure_loss[0]取数值通以下方式,否则会报错total_pure_loss.item()原创 2021-08-14 12:15:07 · 77 阅读 · 0 评论 -
Dimension out of range (expected to be in range of [-2, 1], but got 2)
ret = (torch.sum(torch.sum((mat ** 2), 1), 2).squeeze() + 1e-10) ** 0.5报错,改成以下即可,矩阵没有那么多维度,按那么多维度去相加,自然会报错ret = (torch.sum(torch.sum((mat ** 2), 1), 1).squeeze() + 1e-10) ** 0.5原创 2021-08-13 20:43:42 · 2497 阅读 · 0 评论 -
python代码`if not x:` 和`if x is not None:`和`if not x is None:`使用
代码中经常会有变量是否为None的判断,有三种主要的写法: 第一种是`if x is None`; 第二种是 `if not x:`; 第三种是`if not x is None`(这句这样理解更清晰`if not (x is None)`) 。 如果你觉得这样写没啥区别,那么你可就要小心了,这里面有一个坑。先来看一下代码: >>> x = 1>&...原创 2021-08-13 20:15:58 · 295 阅读 · 0 评论 -
下载过慢的时候,想办法google或者去百度等其他平台寻找公开数据集
下载过慢的时候,想办法google或者去百度等其他平台寻找公开数据集原创 2021-08-13 19:18:17 · 87 阅读 · 0 评论 -
AttributeError: module ‘torchtext.data‘ has no attribute ‘Field‘/AttributeError: module ‘torchtext.d
Asked 5 months agoActive 1 month agoViewed 10k times131I want to run a git project used pytorch and torchtext but when I run it, it raise error: File "main.py", line 60, in <module> main() File "main.py", line 50, in main train_i原创 2021-08-13 19:03:18 · 1709 阅读 · 0 评论 -
训练集 验证集 测试集 比例
对于小规模样本集(几万量级),常用的分配比例是 60% 训练集、20% 验证集、20% 测试集。对于大规模样本集(百万级以上),只要验证集和测试集的数量足够即可,例如有 100w 条数据,那么留 1w 验证集,1w 测试集即可。1000w 的数据,同样留 1w 验证集和 1w 测试集。超参数越少,或者超参数很容易调整,那么可以减少验证集的比例,更多的分配给训练集。...原创 2021-08-13 17:40:26 · 5731 阅读 · 0 评论 -
自然语言推理-文本蕴含识别简介
一 什么是文本蕴含识别 文本间的推理关系,又称为文本蕴含关系 (TextualEntailment),作为一种基本的文本间语义联系,广泛存在于自然语言文本中。简单的来说文本蕴含关系描述的是两个文本之间的推理关系,其中一个文本作为前提(premise),另一个文本作为假设(hypothesis),如果根据前提P能够推理得出假设H,那么就说P蕴含H,记做。这跟一阶逻辑中的蕴含关系是类似的。 例子: 这个例子中前提P是“A dog jumping for a F...原创 2021-08-13 11:08:23 · 1973 阅读 · 0 评论 -
2-论文复现方法
80%都是相同的,现在的趋势就是pytorch越来越火基础算子组合构建复杂算子论文是多卡训练,如果是单卡记得学习率,做倍数缩小原创 2021-08-12 09:41:58 · 737 阅读 · 0 评论