文本处理
文章平均质量分 52
示木007
这个作者很懒,什么都没留下…
展开
-
使用Faiss实现向量检索(RAG)
最有用的是可以将结构化的数据直接存在向量库中进行查询,不依托于langchain框架,简单高效。原创 2024-04-12 15:53:51 · 453 阅读 · 0 评论 -
【Pytorch】NLP|文本数据分析代码实现
1、文本数据分析方法常用的几种文本数据分析方法:标签数量分布句子长度分布词频统计与关键词词云2、标签数量分布2.1 获取训练集和验证集的标签数量分布# 导入工具包import seaborn as snsimport pandas as pdimport matplotlib.pyplot as pltimport jiebaimport jieba.posseg as psegfrom itertools import chainfrom wordcloud impo原创 2021-08-20 20:41:26 · 1177 阅读 · 0 评论