![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
bert
文章平均质量分 73
donruo
这个作者很懒,什么都没留下…
展开
-
docker部署tf-serving模型
自从使用docker制作python环境镜像之后,越来越觉得docker非常方便和友好,之前部署模型一直都是直接启用flask服务的形式,最近正好在弄bert模型,为了提高bert模型在cpu服务器上的推理效率,打算使用tf-serving的服务,虽然快不了多少,但是提升一点是一点,同时也省的每次直接部署的时候拷贝模型文件了。在模型保存之前注意设置好模型的存储路径,需要注意的一点就是模型的版本,版本一般为数字,因为如果检测不到模型的版本,启动服务的时候会报错。二、模型配置文件及多模型部署。原创 2022-09-12 10:21:28 · 931 阅读 · 0 评论 -
基于Bert的文本精排算法
以上就是对bert模型精排算法的探索与实践,总的来说大体框架还是没太大的变化,主要是数据集构造和loss函数的选择,数学公式还是有一点复杂,如果数据集质量不够好还是不推荐使用,因为最终效果指标不好界定,top1和top2区别也不一定太大,收益不是特别明显。将Bert计算出的logits当作相关性r,带入到上面的loss中训练就行了,在实际过程中,还有一个对相关性大小的界定,模型输出的r为0-1之间的数值,阈值定在多少,相关性为1,会影响最终模型的效果,因此需要在测试集上进行探索。,r表示相关性的数值。原创 2022-09-08 14:07:21 · 1001 阅读 · 0 评论 -
bert模型蒸馏实战
由于bert模型参数很大,在用到生产环境中推理效率难以满足要求,因此经常需要将模型进行压缩。常用的模型压缩的方法有剪枝、蒸馏和量化等方法。比较容易实现的方法为知识蒸馏,下面便介绍如何将bert模型进行蒸馏。一、知识蒸馏原理模型蒸馏的目的是用一个小模型去学习大模型的知识,让小模型的效果接近大模型的效果,小模型被称为student,大模型被称为teacher。知识蒸馏的实现可以根据teacher和student的网络结构的不同设计不同的蒸馏步骤,基本结构如下所示: 损失函数需要计算两个部分,cross entr原创 2022-06-30 10:29:13 · 1377 阅读 · 0 评论 -
基于bert特征提取的FAQ问答系统构建
faq的问答系统是目前用的比较广泛的问答系统,由于它落地简单,并且大部分场景都需要,构建一个faq问答系统可以作为一个baseline快速应用到实际场景中。下面就介绍如何快速构建一个faq问答的baseline。一、环境的搭建faq的核心技术是信息检索,信息检索的常用工具则是es,es既可以对faq知识库存储,又可以快速查询文本。同时也有配套的可视化工具kibana,方便数据查询和管理。此外,es的社区也很活跃,文档和讨论的问题也方便使用。elasticsearch+kibana安装使用docker容器拉取原创 2022-06-02 14:14:31 · 1055 阅读 · 0 评论 -
基于bert的文本匹配任务(二)
文本匹配任务是nlp中非常常见的任务,最常用的场景包括文本搜索、智能客服、推荐等。简单的文本匹配算法有字面匹配,包括词频,ngram等,基本上通过tf-idf,ngram等算法统计词频,得到句子的数值向量,然后进行距离计算,得到文本的距离数值,距离越小则代表文本之间的相似度越高。但是通过词频统计得到的句子向量有两个弊端:其中之一是由于词的类别太多,得到的向量为稀疏向量,维度太高;其二,词频的匹配基本都是字面意义上的匹配,相同的词出现越多代表两个文本越相似,忽视了句子本身的语义信息,具有一定的局限性。后续出现原创 2022-05-27 14:55:41 · 2964 阅读 · 0 评论