NLP/项目实战
文章平均质量分 58
自然语言处理/应用场景
u013250861
这个作者很懒,什么都没留下…
展开
-
NLP-Pytorch-项目流程-案例(一):文本摘要【Seq2Seq(BiLSTM-LSTM)+ Attention】【预测算法:GreedySearch、BeamSearch】
《原始论文:《Improving the Robustness of Question Answering Systems to Question Paraphrasing》》一、概述这篇论文主要是解决模型的鲁棒性,提出了两个测试集,最后通过实验证明(数据增强),能够在提出的两个数据集上得到比较好的结果。参考资料:彭伟CSDN:Improving the Robustness of Question Answering Systems to Question Paraphrasing...原创 2021-08-27 22:00:11 · 1809 阅读 · 3 评论 -
NLP-应用场景-文本分类:基于fastText模型的文本多标签分类【 中文标签化系统:给一段中文文本打上一个或多个合适的标签】【tf-serving部署模型】【评价指标:准确率、召回率、F1】
人工智能-自然语言处理(NLP)-应用场景:智能文本分类系统原创 2021-02-28 22:13:43 · 1990 阅读 · 1 评论 -
自然语言处理-应用场景-文本分类:基于LSTM模型的情感分析【IMDB电影评论数据集】--(重点技术:自定义分词、文本序列化、输入数据批次化、词向量迁移使用)
人工智能-自然语言处理-应用案例:情感分析(Sentiment Analysis)原创 2021-02-01 22:51:39 · 2727 阅读 · 2 评论 -
自然语言处理-应用场景-聊天机器人(一):fastText实现意图识别【QA/问答机器人、TASK/任务机器人、CHAT/闲聊机器人】--> 代码封装、对外提供接口
人工智能-自然语言处理(NLP)-应用场景:聊天机器人(Chatbot)原创 2021-02-01 23:56:57 · 1499 阅读 · 0 评论 -
自然语言处理-应用场景-聊天机器人(二):Seq2Seq【CHAT/闲聊机器人】--> BeamSearch算法预测【替代 “维特比算法” 预测、替代 “贪心算法” 预测】
一、聊天机器人概述1. 目前企业中的常见的聊天机器人QA/KB BOT(问答机器人):回答问题代表 :智能客服、比如:提问和回答TASK BOT (任务机器人):帮助人们做事情代表:siri比如:设置明天早上9点的闹钟CHAT BOT(聊天机器人):通用、开放聊天代表:微软小冰2. 常见的聊天机器人怎么实现的2.1 问答机器人的常见实现手段信息检索、搜索 (简单,效果一般,对数据问答对的要求高)关键词:tfidf、SVM、朴素贝叶斯、RNN、CNN知原创 2021-03-20 22:00:05 · 351 阅读 · 0 评论 -
自然语言处理-应用场景-聊天机器人(三):MaLSTM【基于FAQ 的问答系统】【文本向量化-->问题召回(利用PySparNN句子相似度计算海选相似问题)-->问题排序(深度学习:句子相似度计算)】
一、问答机器人介绍1. 问答机器人在前面的课程中,我们已经对问答机器人介绍过,这里的问答机器人是我们在分类之后,对特定问题进行回答的一种机器人。至于回答的问题的类型,取决于我们的语料。当前我们需要实现的问答机器人是一个回答编程语言(比如python是什么,python难么等)相关问题的机器人2. 问答机器人的实现逻辑主要实现逻辑:从现有的问答对中,选择出和问题最相似的问题,并且获取其相似度(一个数值),如果相似度大于阈值,则返回这个最相似的问题对应的答案问答机器人的实现可以大致分为三步步骤:原创 2021-03-20 22:01:12 · 706 阅读 · 0 评论 -
自然语言处理-应用场景-聊天机器人(四):代码封装、对外提供接口
一、代码封装和对外提供接口代码封装过程中,需要注意,在整个结构中,我们有很多的结算结果是dump到本地的,为了防止后续每次的重复计算。所以laod的结果,应该提前加载到内容,而不是每次调用load义词1、完成意图识别代码封装完成判断用户意图的代码,即在使用fasttext的模型,判断用户输入句子的分类import fastTextimport refrom lib import jieba_cutfc_word_mode = fastText.load_model("./classify/d原创 2021-04-16 18:40:40 · 168 阅读 · 0 评论 -
自然语言处理-应用场景-问答系统(知识图谱)【离线:命名实体识别(BiLSTM+CRF>维特比算法预测)、命名实体审核(BERT+RNN);在线:句子相关性判断(BERT+DNN)】【Flask部署】
一、在线医生项目介绍1、在线医生的总体架构学习目标:了解在线医生项目的总体架构项目整体架构图:架构图分析:整个项目分为: 在线部分和离线部分在线部分包括: werobot服务模块, 主要逻辑服务模块, 句子相关模型服务模块, 会话管理模块(redis), 图数据库模块以及规则对话/Unit模块.离线部分包括: 结构与非结构化数据采集模块, NER模型使用模块, 以及实体审核模型使用模块.在线部分数据流: 从用户请求开始, 通过werobot服务, 在werobot服原创 2021-03-21 20:01:44 · 2132 阅读 · 1 评论 -
自然语言处理-应用场景-问答系统:综合回答策略【基于FAQ 的问答(不具备推理功能)-->基于结构化数据的问答-->知识推理后的回答(e.g. TransE算法)】
自然语言处理-应用场景-问答系统:综合回答策略【问题相似度匹配–没找到,则使用–>莱文斯 坦距离方法–没找到,则使用–>TransE】原创 2021-04-02 11:21:42 · 537 阅读 · 0 评论 -
自然语言处理-应用场景-文本生成:GRU --> 故事续写【喂给模型一段话,模型自动生成接下来的话,类似闲聊机器人】NLP领域最具挑战性的任务之一【温度参数、从预测分布中抽取预测样本】
这是一项使用GRU模型的文本生成任务,文本生成任务是NLP领域最具有挑战性的任务之一。以一段文本或字符为输入,使用模型预测之后可能出现的文本内容,我们希望这些文本内容符合语法并能保持语义连贯性。到目前为止,NLP文本生成还是一项艰巨的任务。从实用角度出发,NLP文本生成模型更多地是尝试在与艺术类文本相关的任务中应用。在与科研、新闻稿等相关的领域,NLP文本生成模型使用不多(因为其严谨度还不够)。当前案例就是使用莎士比亚的剧本作为原始数据。原创 2021-03-02 23:14:16 · 817 阅读 · 0 评论 -
自然语言处理-应用场景-文本生成:Seq2Seq-->机器翻译(Machine Translation)【Seq2Seq模型架构实现英译法任务】【评价指标:BLEU】
人工智能-自然语言处理(NLP)-应用案例:机器翻译(Machine Translation)原创 2021-02-01 23:22:24 · 505 阅读 · 0 评论 -
自然语言处理-应用场景-文本生成:Seq2Seq --> 自动摘要【Document-->Summary】
人工智能-自然语言处理(NLP)-应用案例:自动摘要(Text Summarization)原创 2021-02-01 23:37:29 · 936 阅读 · 0 评论 -
自然语言处理-应用场景-文本生成:Seq2Seq --> 阅读理解【Document+Question-->Answer】
大数据-BI案例(三):千面电商用户画像项目原创 2021-01-15 00:12:19 · 268 阅读 · 0 评论 -
自然语言处理-应用场景-文本生成:Seq2Seq -->文本识别(OCR)【图片-->图片中的文本】
人工智能-自然语言处理(NLP)-应用场景:文本识别原创 2021-02-27 22:11:15 · 475 阅读 · 0 评论 -
自然语言处理-应用场景-文本生成:Seq2Seq --> 看图说话【将一张图片转为一段文本】
人工智能-自然语言处理(NLP)-应用场景-Seq2Seq:看图说话【将一张图片转为一段文本】原创 2021-03-20 20:24:15 · 725 阅读 · 0 评论