- 博客(12)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 keras调用BERT、ALBERT、ROBERTA、ERNIE等Transformer encoder 预训练模型进行多种自然语言理解任务
项目地址： https://github.com/stupidHIGH/bert_family_classification 支持Roberta、albert、bert以及转化为tf版本的ernie等bert大家族所有预训练模型的加载、text_classification finetune与预测。 支持分段设置学习率，提高模型表现。 支持继续在unlabelled_data中继续进行预训练per...
2020-04-09 14:49:30
2968
2
原创 ieltsGPT: 大模型自动雅思写作评估
使用尽可能少的配置调用ChatGPT进行雅思写作task 2的评估。下载仓库到本地将自己的写作内容替换python运行生成 markdown文件ielts_feedback.md(点击md2doc.bat把 ielts_feedback.md转化为doc文件)
2023-10-11 15:58:48
176
1
原创 复现BART finetune历程
复现BART finetune历程 准备 安装fairseq，使用fairseq官方提供的finetune代码 git clone https://github.com/pytorch/fairseq cd fairseq pip install --editable ./ 下载Xsum与DailyCNN数据集，已处理为train.source等形式。解压保存在/home/DataSets/Xsum和/home/DataSets/DailyCNN https://github.com/huggin
2021-01-18 10:32:34
3020
5
原创 Linux服务器+CUDA10.0安装Faster R-CNN 特征提取器及apex
maskrcnn-benchmark及apex服务器安装记录 安装此模块是为了使用vilbert-multi-task中 /scripts/extract_features.py 脚本使用pre-train的Faster R-CNN模型提取图片的RoI特征。 extract_features.py使用方法及pre-trained model下载 系统环境 操作系统 $ cat /proc/version Linux version 4.14.105-1-tlinux3-0013 (root@TEN
2021-01-16 20:12:34
463
2
原创 阅读笔记：Learning to Remember Rare Events
Learning to Remember Rare Events Contribution NMT难以记住在train set上的rare word，导致很多包括one-shot在内的场景表现不好，本文提出一个memory module可以用在NMT和CV中多种领域和模型上，作为主题模型的附加模块，提高表现 Our module remembers training examples shown many thousands of steps in the past and it can succes
2020-12-15 14:29:41
385
1
原创 阅读笔记：XGPT: Cross-modal Generative Pre-Training for Image Captioning
XGPT: Cross-modal Generative Pre-Training for Image Captioning Contribution 现有大多数VL pre-trained models基本都是Transformer-Encoder结构的，不适用于Vision-and-language generation tasks，因为： On one hand, pre-trained models developed for understanding tasks only provide
2020-12-14 20:24:34
1242
1
原创 阅读笔记：ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Task
阅读笔记：ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks Contribution 提出 ViLBERT 模型（two streams model），由两个BERT结构分别对text和image进行学习，通过cross-attention进行信息交流，在两个预训练任务（proxy tasks）上进行预训练。最后在4个task上进行finetune：visua
2020-12-14 20:19:12
727
3
原创 阅读笔记：VL-BERT: PRE-TRAINING OF G ENERICVISUAL-LINGUISTICR EPRESENTATIONS
阅读笔记：VL-BERT: PRE-TRAINING OF G ENERICVISUAL -LINGUISTICR EPRESENTATIONS Contribution 文章提出VL-BERT（single stream model），结合文本和图片进行end-to-end预训练，对一系列下游的图片—文本任务都有明显提升效果（ image captioning、 visual question answering、 visual commonsense reasoning） 从前做text与ima
2020-12-14 20:16:23
424
原创 windows10 TensorBoard+Keras使用Bug解决
windows10 TensorBoard+Keras使用Bug解决 在尝试使用TensorBoard得到神经网络训练时loss与acc变化图像时，报错： tensorflow.python.framework.errors_impl.NotFoundError: Failed to create a directory: ./logs… 多次踩坑后找到解决方法，在声明logs目录保存tensor...
2020-03-06 11:50:54
261
原创 小白使用Python语言进行NLP常用字符串操作函数&对特定情况的处理技巧
使用Python语言进行NLP常用字符串操作函数&对特定情况的处理技巧 字符串操作函数 str. find(string,begin=0,end=len(string)) str.count(sub, start= 0,end=len(str)) str.strip([chars]); str.replace(target,new,max_times) str.split(str="",...
2019-11-28 16:33:01
326
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人