问答模型(九) 模糊查询改进

已于 2022-06-09 13:55:59 修改
阅读量186 收藏
点赞数
分类专栏： 项目实训 文章标签： 预训练词向量 W2V jieba 命名实体识别 近似实体提取
于 2022-06-05 19:51:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/NewtonLoop/article/details/125135813
版权

改进方案

在这里插入图片描述

引入预训练词向量

下载预训练的W2V词表
在这里插入图片描述
使用gensim读取下载的预训练词向量并存为.pickle格式（因为某些暂时不清楚的原因，torchserve里没有成功使用gensim读取到词向量，因此存为.pickle格式，使用pickle.load(f)方法进行读取）

# -*- coding: utf-8 -*-
import gensim, pickle

model_pt_path = r'sgns.merge.word'
W2V = gensim.models.KeyedVectors.load_word2vec_format
最低0.47元/天 解锁文章
NewtonLoop
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大语言模型：从理论到实践
08-11
相比传统的基于关键字匹配的方法，GPT-3能够处理更为复杂的问题和模糊查询，从而提高了回答的准确性和实用性。 #### 三、BERT：改善自然语言理解 **1. 模型简介** BERT是一种双向编码器表示模型，它改变了传统NLP...
word_ngram 模型使用小tip
sunny的博客
12-28 535
模型加载 import gensim.models import pandas #vocabulary 中不存在的单词计算，切分字符求平均计算余弦相似度 # 本方法，使用wiki word+char模型，计算PKU 500词语相似，在wiki中的词汇 def cha_w2v(s): res = [] for i in s: print(i, model[i]) res.append(model[i]) return sum(res)/le..
Flat-Lattice-Transformer模型源码测试
小乖的崽崽的地盘
12-02 4911
Flat-Lattice-Transformer模型github源码测试
利用Gensim在英文Wikipedia训练词向量
Mr1060907970的博客
01-18 6831
网上流传的训练wiki词向量版本直接将文章标点去掉，拼接成一个字符串，并没有处理断句，这里改进了gensim的程序，对wiki文章进行了分句处理。
gensim加载预训练词向量到模型中的使用方法
大数据开发、JAVA开发、人工智能AI
03-22 6300
gensim Introduction Gensim是一个用于从文档中自动提取语义主题的Python库，足够智能，堪比无痛人流。 Gensim可以处理原生，非结构化的数值化文本(纯文本)。Gensim里面的算法，比如Latent Semantic Analysis(潜在语义分析LSA)，Latent Dirichlet Allocation，Random Projections，通过在语料库的训练下检验词的统计共生模式(statistical co-occurrence patterns)来发现文档的语义结
智能搜索（输入关键字模糊查询）
汤圆玛奇朵的博客
06-10 3184
最近项目里用到，特记录一下。自己修改下可连接数据库。 前端html <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0...
自动问答系统 -硕士论文-万方下载-问题库，问句
03-19
机器学习方法，如深度学习的神经网络模型，常被用来提升问答系统的性能，通过大量训练数据让系统自我学习和优化。 此外，论文可能还讨论了当前自动问答系统面临的挑战，如歧义消解、知识表示、实时性以及跨领域适应...
软件工程问答题.docx
07-03
- **部署**：包括交付、支持和收集反馈，是一个持续的过程，因为软件会不断更新和改进。 5. **需求工程的六步流程**： - **起始**：确定项目目标。 - **导出**：识别初始需求。 - **精化**：细化需求，消除模糊...
ChatGPT技术的问答对生成算法.docx
最新发布
08-20
例如，当前模型在处理复杂和模糊问题时可能表现不佳，需要改进以提高理解和回答的准确性。此外，长对话上下文的处理仍然是个难题，模型有时会忽视先前的对话信息，影响答案的一致性和连贯性。最后，算法的训练和微调...
python中数据库like模糊查询方式
09-17
主要介绍了python中数据库like模糊查询方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
拼音汉字模糊匹配字库（仿google和百度搜索引擎字词库）
03-08
拼音汉字模糊匹配字库（仿google和百度搜索引擎）共有2万多个字词和拼音对应
简单的模糊搜索案例
YaNglIN123i的博客
11-14 3540
此案例是一个简单的模糊搜索功能，记录的点是怎么保持原数组不改变。这个demo也是我在学习的过程中看到的，进行一次记录学习，小伙伴们可以自己试一下。
NLP：函数封装之利用正则表达式compile、findall对多组关键词进行模糊查询并返回统计个数，findall截取两个指定符号之间的内容
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
08-10 3548
​ NLP：函数封装之利用正则表达式compile、findall对多组关键词进行模糊查询并返回统计个数，findall截取两个指定符号之间的内容 目录 利用正则表达式compile、findall对多组关键词进行模糊查询并返回统计个数 #Python函数封装：利用正则表达式compile、findall对多组关键词进行模糊查询统计个数，findall截取两个指定符号之间的内容 import re def fuzzy_pattern_Count(fuzzy_pattern,strs_list)
word2vec 如何获得当前的所有词向量表
热门推荐
lwgkzl的博客
01-15 1万+
使用函数：model.wv.index2word() 废话不多说，我们来看代码，假设我们已经训练好了模型。 from gensim.models.word2vec import Word2Vec import pickle model = Word2Vec.load('./all_data/WORD_MODEL') #WORD_MODEL是我已经生成的模型 print(model....
csv分词_最全NLP中文文本分类实践（上）——中文分词获取和Word2Vec模型构建
weixin_39827034的博客
11-22 654
1 简介最近在学习NLP的相关知识，想通过实践来加深对所学知识的认知。因此，自己从网上找了一个中文语料库进行尝试。本文的实践内容包括文件的读取、中文分词、词向量表达、模型构建和模型融合。本文所采用的语料库为复旦中文文本分类语料库，包含20个类别。但是，这个网盘里面只有train一个文件夹，我就自己人工把它分成了训练集和测试集。网盘链接:https://pan.baidu.com/s/1833mT2...
最全NLP中文文本分类实践（上）——中文分词获取和Word2Vec模型构建
zhoubk1998的博客
09-02 4423
1 简介 最近在学习NLP的相关知识，想通过实践来加深对所学知识的认知。因此，自己从网上找了一个中文语料库进行尝试。本文的实践内容包括文件的读取、中文分词、词向量表达、模型构建和模型融合。 本文所采用的语料库为复旦中文文本分类语料库，包含20个类别。但是，这个网盘里面只有train一个文件夹，我就自己人工把它分成了训练集和测试集。 网盘链接:https://pan.baidu.com/s/1833mT2rhL6gBMlM0KnmyKg 密码:zyxa 注：本文重点关注于代码的实践内容，没有背景知识和理论的介
Word2Vec的一些理解
12-05 8170
我之前写的一篇笔记： Word2Vec的一些理解 最近几位google的研究人员发布了一个工具包叫word2vec，利用神经网络为单词寻找一个连续向量空间中的表示。这里整理一下思路，供有兴趣的同学参考。 这里先回顾一下大家比较熟悉的N-gram语言模型。 在自然语言任务里我们经常要计算一句话的概率。比如语音识别中对于一个语音段O，需要找到一个使P(W|O)最大的文本段W
深入理解词向量-词向量的可视化
amao1998的博客
08-16 1万+
1、概述 词向量是自然语言分词在词空间中的表示，词之间的距离代表了分词之间的相似性，我们可以使用gensim,tensorflow等框架非常方便的来实现词向量。但词向量在词空间的分布到底是什么样的，如何更好的理解词向量是一个非常重要的问题。本文将使用tensorbord以及相关的降维技术在三维空间中模拟词向量在高维空间的分布。 2、训练词向量 词向量的训练是一个无监督的学习过程，这并不是本文...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值