基于Pytorch和Beam Search的中文聊天机器人

最新推荐文章于 2024-09-15 23:59:24 发布
最新推荐文章于 2024-09-15 23:59:24 发布
阅读量4k 收藏 2
点赞数 1
文章标签： github python 机器人 聊天 beamsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yanwiicq/article/details/78296263
版权

详情前往github seq2seq pytorch

需求：

Python3
Pytorch
Jieba分词

BeamSearch算法

很经典的贪心算法，在很多领域都有应用。

在这个引用中 我们引入了惩罚因子

用法

# 准备数据  
python3 preprocessing.py
# 训练
python3 seq2seq.py train
# 预测
python3 seq2seq.py predict
# 重新训练
python3 seq2seq.py retrain

结果

以下是k=5时的结果, 越接近1，结果越好

me > 我是谁
drop [3, 1], 1
drop [1, 6, 1], 2
drop [7, 6, 1], 3
drop [4, 5, 6, 1], 4
drop [7, 6, 8, 1], 5
ai >  __UNK__ -1.92623626371
ai >   -1.41548742168
ai >  关你 -1.83084125204
ai >  我是你 0.0647218796512
ai >  关你屁事 -0.311924366579
yanwiicq
关注
python自然语言处理—Beam Search及其优化方法—two
weixin_38477351的博客
10-07 546
Beam Search及其优化方法（two） 上一篇文章我们介绍了基础版的 Beam Search及其优化方法，这篇文章接着对上一篇文章进行扩展，可以在模型不改的情况下获得更好的生成结果。文章主要围绕论文《The Curious Case of Neural Text Degeneration》展开。 Beam Search存在的问题 Beam Search虽然比Greedy S...
Python-基于Pytorch的中文聊天机器人集成BeamSearch算法
08-11
基于Pytorch的中文聊天机器人 集成BeamSearch算法
beam search及pytorch实现
u014514939的博客
07-13 1万+
主要记录两种不同的beam search版本 版本一，使用类似层次遍历的方式进行搜索，用队列进行维护，每次循环对当前层的所有节点进行搜索，这些节点每个分别对应topk个节点作为下一层候选节点，取所有候选节点的前tok个作为下一层节点加入队列 bfs with width constraint. 启发式搜索的一种. 属于贪心算法. 如果k -> inf，那么等价于bfs. 从根节点开始（），...
什么是 Beam Search？深入理解模型生成策略
最新发布
Hoper-J的博客
09-15 1441
深入理解 Beam Search：原理, 示例与代码实现
Pytorch-seq2seq-Beam-Search:带有注意力和贪婪搜索束搜索的Seq2Seq模型的PyTorch实现，用于神经机器翻译
04-18
Pytorch-seq2seq-光束搜索 带有注意力和贪婪搜索/波束搜索的Seq2Seq模型，用于在PyTorch中进行神经机器翻译。 此实现着重于以下功能： 用于其他项目的模块化结构 最少的代码以提高可读性 充分利用批处理和GPU。 解码方法贪婪搜索 解码方法波束搜索 此实现依赖于来最大程度地减少数据集管理和预处理部分。 Seq2Seq型号说明 seq2seq的主要结构采用 编码器：双向GRU 解码器：具有注意机制的GRU 注意力 解码方式 贪婪的搜索 光束搜索 要求 CUDA Python 3.6 PyTorch 1.4 火炬文本 空间 麻木 智慧（可选） 通过这样做下载令牌生成器： python -m spacy download de python -m spacy download en 去做 添加日志 更改为支持gpu和cpu，目前是基于gpu的代码实现
Beam Search python实现
qq_28057379的博客
06-16 759
from math import log import numpy as np def beam_search_decoder(data, k): sequences = [[list(), 1.0]] for row in data: all_candidates = list() for i in range(len(sequences)): seq, score = sequences[i] for
5分钟NLP：Python文本生成的Beam Search解码
deephub
07-20 473
贪婪搜索是在每个时间步中选择概率最高的单词，也是我们最常用的一种方法，BeamSearch不取每个标记本身的绝对概率，而是考虑每个标记的所有可能扩展。我们可以增加n-gram惩罚参数no_repeat_ngram_size，这有助于减少输出中的重复生成的序列。现在，我们将并比较通过BeamSearch生成的序列的对数概率得分，得分越高潜在结果越好。接下来，可以将其应用于贪婪搜索解码方法生成的输出，并计算生成的序列的对数概率。我们可以看到生成的序列的对数概率为-52.31。作者JasonLZP。...
基于python+Pytorch开发的中文聊天机器人+集成BeamSearch算法+源码+开发文档+项目解析+代码演示
06-01
基于python+Pytorch开发的中文聊天机器人+集成BeamSearch算法+源码+开发文档+项目解析+代码演示，适合毕业设计、课程设计、项目开发。项目源码已经过严格测试，可以放心参考并在此基础上延申使用~ 基于python+...
基于Pytorch的中文聊天机器人系统-集成BeamSearch算法
07-14
Python3 Pytorch # 准备数据 python3 preprocessing.py # 训练 python3 seq2seq.py train # 预测 python3 seq2seq.py predict # 重新训练 python3 seq2seq.py retrain
python 聊天机器人 中文_ 小智，又一个中文聊天机器人
weixin_28717683的博客
03-01 695
???? 小智，又一个中文聊天机器人???????? 利用有趣的中文语料库qingyun，由@Doragd 同学编写的中文聊天机器人⛄尽管她不是那么完善????，不是那么出色????但她是由我自己coding出来的 ???? ，所以 希望大家能够多多star支持⭐ 这个NLP初学者????和他的朋友???? 小智????背景这个项目实际是软件工程课程设计的子模块。我们的目标是开发一个智能客服工单处理系统。智能客服工单系统实际的工作流程是：当人向系...
Beam Search Python实现及复杂度分析
Catcher
08-16 2278
前言 NLP的生成式任务的解码过程，经常会用到Beam Search的算法。之前也大概明白它是啥意思，但是具体实现细节还是不太清楚，这次就按照自己的理解把模拟代码实现一下，如果有啥错误，还望指出哇。 分析 机器翻译任务或者别的文本生成式任务，在解码的过程中，我们希望输出一句出现概率最高的句子，在每个Token生成的时候都有V（词典大小）个选择，每个选择有不同的概率，假设输出的这一句话一共有L个token，通过概率分解，我们可以假设这一句话出现的概率是所有token出现概率的乘积。那么此时，就会有朋友(无中生
中文聊天机器人chatbot源码
07-31
本文是依赖jieba分词构成中文字典，写成的中文聊天机器人，本文是依赖jieba分词构成中文字典，写成的中文聊天机器人，本文是依赖jieba分词构成中文字典，写成的中文聊天机器人
dynamic-seq2seq:seq2seq中文聊天机器人
05-19
dynamic-seq2seq 欢迎关注我的另一个项目 基于中文语料和dynamic_rnn的seq2seq模型 Update: 修复loss计算bug 修复batch_size大于1时的计算bug Requirements tensorflow-1.4+ python2.7 (暂时未对python3 兼容) requests jieba cPickle numpy 谷歌最近开源了一个seq2seq项目 tensorflow推出了dynamic_rnn替代了原来的bucket，本项目就是基于dynamic_rnn的seq2seq模型。 这里我构建了一些对话预料，中文语料本身就比较稀缺，理论上来说语料越多模型的效果越好，但会遇到很多新的问题，这里就不多作说明。 对话语料分别在data目录下 Q.txt A.txt中，可以替换成你自己的对话语料。 用法: # 新增小黄鸡语料 # 添加 pyt
pytorch seq2seq闲聊机器人
高颜值的杀生丸(此博客转载自我的博客园)
02-28 464
cut_sentence.py """ 实现句子的分词 注意点： 1. 实现单个字分词 2. 实现按照词语分词 2.1 加载词典 3. 使用停用词 """ import string import jieba import jieba.posseg as psg import logging stopwords_path = "../corpus/stopwords.txt" ...
Ubuntu安装ctcdecode库实现beamsearch（pytorch中）
qq_41447652的博客
09-23 513
依赖库： openfst-1.6.7.tar.gz、boost_1_67_0.tar.gz 第二个会访问失败，这里合并打包到一起 百度网盘——提取码：ASDFhttps://pan.baidu.com/s/1sPe_msTRQ9pMZ5O5mMFBhA 安装步骤，参见这个项目README，环境安装 GitHub - yeyupiaoling/MASR: Pytorch实现的MASR中文语音识别，目前纯CNN网络，自带3个常见的公开中文语音数据集。 ...
基于pytorch的聊天机器人项目
hxxjxw的博客
08-21 2522
写一个闲聊式的聊天机器人，类似微软小冰 主体模型是Seq2Seq+Attention 青云数据集 一个比较有意思的数据集 项目架构
pytorch学习（一）
qq_42036869的博客
03-28 2290
day1 dir()函数，工具箱以及工具箱中分隔区有什么 help()函数，工具的使用方法 import torch dir(torch) dir(torch.cuda.is_available()) help(torch.cuda.is_available)
beam search 简单例子实现及讲解
Talk Is Cheap
01-09 6803
from math import log from numpy import array from numpy import argmax # beam search def beam_search_decoder(data, k): sequences = [[list(), 1.0]] # walk over each step in sequence for row
BeamSearch的理解
热门推荐
新手上路，刹不住车
03-07 1万+
BeamSearch的理解 转自知乎问题“谁能解释下seq2seq中的beam search算法过程?”高分回答 https://www.zhihu.com/question/54356960
Chatterbot与PyTorch融合开发的QQ聊天机器人教程
资源摘要信息: 该ZIP压缩包包含了与“毕设&课设&项目&实训-基于 Chatterbot 和 PyTorch 的 QQ 聊天机器人”相关的所有项目文件和资料。此项目是一项结合了人工智能技术和即时通讯平台的实践任务，旨在通过构建一个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值