NLP
文章平均质量分 73
雪糕遇上夏天
这个作者很懒,什么都没留下…
展开
-
Bert在文本分类任务重如何进行 fine-tuning
文本分类是个经典的NLP任务。随着预训练语言模型的大受欢迎,诸如Bert等预训练语言模型在文本分类任务上也有这十分出色的表现。本文会对Bert进行文本分类的训练问题做个简单的介绍。原创 2022-07-11 16:24:27 · 527 阅读 · 0 评论 -
XLNet
XLNet0. XLNet简介1. Permutation Language Modeling2. Two-Stream Self-Attention3. Transformer-XL0. XLNet简介2018年Bert横空出世,刷新了很多NLP任务的SOTA。之后人们开始研究对Bert的改进,本文介绍的XLNet就是比较成功的另一个模型。不同于Bert的AutoEncoder模式,XLNet用的是AutoRegressive模式。据说,XLNet在20个任务上比BERT做得更好,的确吸人眼球。Be原创 2021-12-08 17:36:20 · 237 阅读 · 0 评论 -
机器学习(深度学习)常见面试题--基础知识篇
机器学习(深度学习)常见面试题--基础知识篇1. 模型评估AccuracyRecallPrecisionF1-scoreP-R曲线ROC曲线AUCP-R VS ROC2. 基础模型GBDT(梯度提升树)优点缺点XGBoost/GBDT及联系和区别LightGBM和XGBoost的区别单边梯度抽样算法(GOSS)直方图算法互斥特征捆绑算法基于最大深度的 Leaf-wise 的垂直生长算法类别特征最优分割特征并行和数据并行缓存优化LightGBM怎么调参针对更好的准确率处理过拟合逻辑回归损失函数推导3. 神经网原创 2021-12-07 14:52:29 · 518 阅读 · 0 评论 -
faise的安装使用
faise的安装使用1. Faiss简介2. Faiss安装3. Faiss Action1. Faiss简介Faiss是Facebook开源的一款用于大规模P维向量最近邻检索的工具。Faiss is a library for efficient similarity search and clustering of dense vectors. It contains algorithms that search in sets of vectors of any size, up to one原创 2021-11-25 16:11:02 · 1667 阅读 · 0 评论 -
This tokenizer cannot be instantiated. Please make sure you have `sentencepiece` installed in order
最近在尝试用transformers做英汉翻译,用的是opus-mt-en-zh。本来代码已经写好了,但是在另一台代脑上run的时候出现了如下错误:ValueError: This tokenizer cannot be instantiated. Please make sure you have `sentencepiece` installed in order to use this tokenizer.遇到这个问题,很明显要检查 sentencepiece 是不是已经安装了,开始我以为安装原创 2021-08-28 22:29:04 · 25741 阅读 · 0 评论 -
transformers中的bert用法
transformers中的bert用法1. Bert模型下载2. 在transformers中使用1. Bert模型下载这里直接使用huggingface提供的pre-trained的bert模型,直接去官网即可搜索想要的模型并下载:https://huggingface.co/models这里以bert-base-chinese为例。首先将其下载到本地git lfs installgit clone https://huggingface.co/bert-base-chinese注意此时下原创 2021-07-24 16:43:59 · 2395 阅读 · 0 评论