深度学习
文章平均质量分 81
NLP&CV等
【文言】
言:我的工作,我的生活,我的感悟。点滴记录!
展开
-
RoBERTa:一种稳健优化BERT的预训练方法
语言模型的预训练带来了显著的性能提高,但比较不同的方法具有一定的挑战性。因为其训练的计算成本很高,同时不同的模型通常又是在不同规模的私有数据集上进行的,而且超参数选择也会对最终结果有重大影响。我们提出了BERT预训练的研究(Devlin等人,2019年),测量了许多关键超参数和训练数据大小的影响。在实验中,发现了BERT模型的一些问题,同时提出一种新的模型,这种模型可以匹配或超过BERT后发布的每一个模型的性能,即roberta。原创 2022-11-03 22:38:55 · 1693 阅读 · 0 评论 -
NLP比赛利器:DeBERTa系列模型介绍
DeBERTa(Decoding-enhanced BERT with disentangled attention)模型是微软在2021年提出的,到现在其实已经迭代了三个版本,第一版发布的时候在SuperGLUE[1]DeBERTa(Decoding-enhanced BERT with disentangled attention)模型是微软在2021年提出的,到现在其实已经迭代了三个版本,第一版发布的时候在SuperGLUE[1]排行榜上就已经获得了超越人类的水平。目前,一些比较有挑战的NLP任务,甚原创 2022-10-23 23:49:05 · 10226 阅读 · 2 评论 -
带你走进 ERNIE
ERNIE基本介绍原创 2022-10-20 22:12:35 · 2063 阅读 · 0 评论 -
BERT之后,NLP主要预训练模型演变梳理
本文旨在梳理基于BERT模型优化后部分预训练模型,以便读者能够更快掌握BERT相关内容,为后期工作中使用BERT相关模型提供便捷性。原创 2022-10-19 00:00:55 · 1745 阅读 · 0 评论 -
DeepFM介绍
DeepFM在前面一篇文章中提到,目前遇到特征组合的问题,主流做法主要会分成两类:FM系列、DNN系列。关于DNN相关内容,是深度学习基础知识,本处不展开介绍,直接使用。本文主要介绍FM+DNN的结合体:DeepFM相关内容。文章依旧主要从三方面展开对FM算法介绍When – 什么时候需要考虑DeepFM算法What – 究竟什么是DeepFM算法How – DeepFM怎么使用1. When什么时候需要考虑DeepFM基于CTR预估的推荐系统,究其根本,其实是学习到用户原创 2021-11-10 19:10:47 · 2954 阅读 · 0 评论 -
No matching distribution found for tensorflow==2.1.0
问题描述:最近重新整理了环境,在安装tensorflow,hanlp包的过程中,报出如下类似错误:经过各方求助,最后发现是自己在安装过程中,最近把pyhton更新到3.8,但是Python3.8仅仅支持2.2.0,导致无法安装成功TensorFlow2.1.0.解决方案:把Python3.8版本回退到稳定版本的Python3.7就OK。...原创 2020-05-08 19:28:24 · 7663 阅读 · 1 评论