全网独发gensim中similarities.Similarity用法

当处理大型语料库时,MatrixSimilarity 报错 Memory Error。gensim 提供了 similarities.Similarity 类来解决内存问题。该类将索引切分存储到硬盘,使用固定内存并结合其他类实现快速查询。在使用 Similarity 类时,需要提供存储缓存文件的地址、tfidf 向量化后的语料库和语料库文本的数量作为参数。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

index = similarities.MatrixSimilarity(lsi[corpus]) #

管网的原文翻译如下:

警告:similarities.MatrixSimilarity类仅仅适合能将所有的向量都在内存中的情况。例如,如果一个百万文档级的语料库使用该类,可能需要2G内存与256维LSI空间。 
如果没有足够的内存,你可以使用similarities.Similarity类。该类的操作只需要固定大小的内存,因为他将索引切分为多个文件(称为碎片)存储到硬盘上了。它实际上使用了similarities.MatrixSimilaritysimilarities.SparseMatrixSimilarity两个类,因此它也是比较快的,虽然看起来更加复杂了。

 

现在我就是大语料库,MatrixSimilarity这个类运行,就报错  Memory Error

可是关于similarities.Similarity 用法 在哪里呢??在哪里呢??在哪里呢??在哪里呢??

搜尽全网都没有答案,最可恶的是管网也不提这个用法。你不写参数,我知道咋用啊。

感恩,感恩

https://stackoverflow.com/questions/36578341/how-to-use-

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值