- 博客(12)
- 资源 (1)
- 收藏
- 关注
原创 keras调用BERT、ALBERT、ROBERTA、ERNIE等Transformer encoder 预训练模型进行多种自然语言理解任务
项目地址:https://github.com/stupidHIGH/bert_family_classification支持Roberta、albert、bert以及转化为tf版本的ernie等bert大家族所有预训练模型的加载、text_classification finetune与预测。支持分段设置学习率,提高模型表现。支持继续在unlabelled_data中继续进行预训练per...
2020-04-09 14:49:30 3002 2
原创 ieltsGPT: 大模型自动雅思写作评估
使用尽可能少的配置调用ChatGPT进行雅思写作task 2的评估。下载仓库到本地将自己的写作内容替换python运行生成 markdown文件ielts_feedback.md(点击md2doc.bat把 ielts_feedback.md转化为doc文件)
2023-10-11 15:58:48 238 1
原创 复现BART finetune历程
复现BART finetune历程准备安装fairseq,使用fairseq官方提供的finetune代码git clone https://github.com/pytorch/fairseqcd fairseqpip install --editable ./下载Xsum与DailyCNN数据集,已处理为train.source等形式。解压保存在/home/DataSets/Xsum和/home/DataSets/DailyCNNhttps://github.com/huggin
2021-01-18 10:32:34 3124 5
原创 Linux服务器+CUDA10.0安装Faster R-CNN 特征提取器及apex
maskrcnn-benchmark及apex服务器安装记录安装此模块是为了使用vilbert-multi-task中 /scripts/extract_features.py 脚本使用pre-train的Faster R-CNN模型提取图片的RoI特征。extract_features.py使用方法及pre-trained model下载系统环境操作系统$ cat /proc/versionLinux version 4.14.105-1-tlinux3-0013 (root@TEN
2021-01-16 20:12:34 490 2
原创 阅读笔记:Learning to Remember Rare Events
Learning to Remember Rare EventsContributionNMT难以记住在train set上的rare word,导致很多包括one-shot在内的场景表现不好,本文提出一个memory module可以用在NMT和CV中多种领域和模型上,作为主题模型的附加模块,提高表现Our module remembers training examples shown many thousands of steps in the past and it can succes
2020-12-15 14:29:41 434 1
原创 阅读笔记:XGPT: Cross-modal Generative Pre-Training for Image Captioning
XGPT: Cross-modal Generative Pre-Training for Image CaptioningContribution现有大多数VL pre-trained models基本都是Transformer-Encoder结构的,不适用于Vision-and-language generation tasks,因为:On one hand, pre-trained models developed for understanding tasks only provide
2020-12-14 20:24:34 1297 1
原创 阅读笔记:ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Task
阅读笔记:ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language TasksContribution提出 ViLBERT 模型(two streams model),由两个BERT结构分别对text和image进行学习,通过cross-attention进行信息交流,在两个预训练任务(proxy tasks)上进行预训练。最后在4个task上进行finetune:visua
2020-12-14 20:19:12 763 3
原创 阅读笔记:VL-BERT: PRE-TRAINING OF G ENERICVISUAL-LINGUISTICR EPRESENTATIONS
阅读笔记:VL-BERT: PRE-TRAINING OF G ENERICVISUAL -LINGUISTICR EPRESENTATIONSContribution文章提出VL-BERT(single stream model),结合文本和图片进行end-to-end预训练,对一系列下游的图片—文本任务都有明显提升效果( image captioning、 visual question answering、 visual commonsense reasoning)从前做text与ima
2020-12-14 20:16:23 453
原创 windows10 TensorBoard+Keras使用Bug解决
windows10 TensorBoard+Keras使用Bug解决在尝试使用TensorBoard得到神经网络训练时loss与acc变化图像时,报错:tensorflow.python.framework.errors_impl.NotFoundError: Failed to create a directory: ./logs…多次踩坑后找到解决方法,在声明logs目录保存tensor...
2020-03-06 11:50:54 291
原创 小白使用Python语言进行NLP常用字符串操作函数&对特定情况的处理技巧
使用Python语言进行NLP常用字符串操作函数&对特定情况的处理技巧字符串操作函数str. find(string,begin=0,end=len(string))str.count(sub, start= 0,end=len(str))str.strip([chars]);str.replace(target,new,max_times)str.split(str="",...
2019-11-28 16:33:01 342
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人