检索IR与learning to rank
文章平均质量分 89
Macropodus
最后一次为理想而战。安知南山桂,绿叶垂芳根。何须浅碧深红色,自是花中第一流。
展开
-
near-synonym, 中文反义词/近义词(antonym/synonym)工具包
near-synonym, 中文反义词/近义词(antonym/synonym)工具包.原创 2024-03-15 19:57:21 · 990 阅读 · 0 评论 -
文本内容安全审核
短文本过滤实例,可用于智能识别各种违法违规内容,如涉黄、涉政、暴恐、辱骂、广告、灌水…当前监管越发严重,如何避免用户发布的内容给平台造成风险,内容安全审核是避规内容风险的主要方式。内容安全审核一般分为机审和人审两种方式并行的策略,各云厂商一般已经集成成接口服务,包括文本、图像、语音、视频等,同时也支持私有化部署。本文只调研关于文本的内容安全审核,文本和图像还是可以自己做的。功能:提供图片、视频、文本、语音、网页等形式内容违规检测API,覆盖暴恐、涉政、涉黄、广告、辱骂、不良场景等风险检测能力。技术:鉴原创 2022-07-05 14:29:16 · 8669 阅读 · 0 评论 -
闲聊机器人实例四:python实现小姜机器人,BERT检索模型,新增一个余弦相似度Cosine层, 解决BERT句向量编码传输耗时问题。部署tf-serving
BERT检索模型,新增一个余弦相似度Cosine层, 解决BERT句向量编码传输耗时问题。部署tf-serving业务需求BERT向量召回问答对, FAQ标准问答对数据量不大不能把BERT编码部署于网络服务, 如http请求的形式, 因为网络传输耗时, 此外传输的数据量还很大768(维度)*32(float)几乎所有的模型服务只能用cpu, 硬盘、内存都还可以响应要求高, 小时延不能太高代码逻辑首先将FAQ标准问答对生成句向量, bert-sentence-encode;将句向量当成一原创 2021-09-17 18:40:55 · 703 阅读 · 0 评论 -
信息检索IR与学习排序LTR(1)Learning to Rank在QA系统中的应用
1.简述IR与Learning to Rank 信息检索IR (Information Retrieval)即信息查询(Information Search),像什么搜索引擎、论文检索,很是常见; 学习排序LTR(Learning to Rank)是一种监督学习排序方法, 使用的是机器学习方法,但是我感觉近年来似乎进展不大。 近期工作中实验了学习排序Learning to ...原创 2019-03-13 11:06:44 · 1961 阅读 · 0 评论 -
闲聊机器人实例二:python实现小姜机器人(检索式chatbot_fuzzywuzzy)
小姜机器人、python、tensorflow、chatbot、dialog、fuzzywuzzy、搜索、检索式、生成式、聊天、闲聊、对话、问答、多轮、单轮、开放、封闭、任务、垂直等等描述,都属于自动问答领域。而且已经有了比较大的应用,常见的智能手机助手、聊天机器人、智能客服......一.概述 检索式chatbot,在我看来,非常适合那些个一...原创 2019-04-21 21:48:11 · 1526 阅读 · 0 评论 -
闲聊机器人实例三:python实现小姜机器人(检索式chatbot_sentence_vec_by_word_词向量句向量)
word2vec词向量构建生成句向量,再计算相似度,匹配问答库中的标准问题。 小姜机器人、python、tensorflow、chatbot、dialog、fuzzywuzzy、检索式、生成式、聊天、闲聊、对话、问答、多轮、单轮、开放、封闭、任务、垂直等等描述,都属于自动问答领域。而且已经有了比较大的应用,常见的智能手机助手、聊天机器人、智能客服......一....原创 2019-04-21 23:36:31 · 1424 阅读 · 12 评论 -
闲聊机器人实例四:python实现小姜机器人(检索式chatbot_sentence_vec_by_bert_bert句向量)
bert构建生成句向量,再计算相似度,匹配问答库中的标准问题。为什么使用bert倒数第二层输出构建句向量。小姜机器人、python、tensorflow、chatbot、dialog、bert中文短文本、fuzzywuzzy、检索式、生成式、聊天、闲聊、对话、问答、多轮、单轮、开放、封闭、任务、垂直等等描述,都属于自动问答领域。而且已经有了比较大的应用,常见的智能手机助手、聊天...原创 2019-05-12 14:40:39 · 2206 阅读 · 4 评论