MinHash + LSH去重

最新推荐文章于 2024-11-02 22:17:47 发布

ToTensor

最新推荐文章于 2024-11-02 22:17:47 发布

阅读量263

点赞数

分类专栏：大模型通关打怪之旅文章标签： python 人工智能

本文链接：https://blog.csdn.net/qq_44193969/article/details/134989022

版权

大模型通关打怪之旅专栏收录该内容

13 篇文章 23 订阅 ¥99.90 ¥299.90

订阅专栏

本文探讨了如何运用MinHash和Locality Sensitive Hashing（LSH）在Python中进行数据去重。虽然尝试使用多进程优化，但发现imap在实际运行中并未提升效率，反而可能较单进程更慢，目前问题仍在排查。

摘要由CSDN通过智能技术生成

话不多说，上干货

import os
import time
import json
import jieba
import joblib
import jsonlines
import multiprocessing
import pandas as pd
from loguru import logger
from tqdm import tqdm
from multiprocessing import Pool

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

ToTensor

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

使用MinHash & LSH进行海量文本去重

u013250861的博客

10-31

556

例如，小写字母代表词，大写字母代表文档：然后，把原来的词典{a, b, c, d, e} 顺序，例如得到{b, e, a, d, c}，定义一个函数h：计算集合S最小的minhash值，就是在这种顺序下最先出现1的元素。那么，类似地，如果进行的话，就会有, 那原来每个高维集合，就会被降到n维空间，比如。但是实际中因为重排比较耗时，会用若干替代。比如设定一个哈希函数: h(x) = (i+1) % 5.

NLP_文本去重_附Python实现【MinHash和MinHashLSH】算法

zik的博客

07-24

1537

参与评论您还未登录，请先登录后发表或查看评论

使用MinHash和LSH进行大规模文本数据去重

年少的勇气已经用完，剩下的就是三思而后行

08-08

768

假设我们有一组包含简单中文文本的数据。我们首先对每条文本进行分词，然后计算每条文本的MinHash值，并使用LSH将这些值插入到一个可查询的结构中。最后，我们查询每个文本的MinHash，找出所有相似的文本。这种方法特别适合处理语义上相似的文本，而不仅仅是字面上完全相同的文本。在这个例子中：文档0和文档3非常相似，因为它们都描述了“今天天气好，适合出去玩”的情景，尽管用词略有不同。文档2和文档4虽然都提到了“明天有雨”，但用词和句式的不同可能使得它们的相似度低于阈值。

MinHash-LSH 哈希模糊去重：如何解决医学大模型的大规模数据去重？

Debroon

12-18

4289

离奇算法背后：MinHash-LSH意想不到的疯狂应用！！！

相似检索/去重场景下MinHash-LSH及MinHash LSH Forest的Python实现

zenRRan的博客

03-03

3085

编辑：AI算法小喵公众号写在前面个人认为文本的相似性可以分为两类：一类是机械相似性；一类是语义相似性。机械相似性代表着，两个文本内容上的相关程度，比如“你好吗”和“你好”的相似性，纯粹代表着内容上字符是否完全共现，应用场景在：文章去重；语义相似性代表着，两个文本语义上的相似程度，比如“苹果”和“公司”的相似性。今天跟大家分享在相似性检索+去重的场景下，如何基于Python中的datasketch...

【Python】如何利用MinHash和LSH进行大规模文本数据去重

哈哈哈哈哈哈哈

04-19

1288

通过MinHash和LSH，我们能够有效地在没有数据库支持的情况下处理和去重大量文本数据。这种方法特别适合处理语义上相似的文本，而不仅仅是字面上完全相同的文本。使用这种方法可以显著提高数据处理的效率和准确性。

使用MinHash结合MinHashLSH进行文本相似度比对

weixin_51903430的博客

06-11

886

minHash只是计算出那些集合与目标集合满足设置的相似度阈值，如需计算具体的相似度为多少，还需使用jaccard方式（minhash的jaccard相似度）LSH:局部敏感哈希，用于判断大量集合间的相似度，当集合数量很多的时候使用，即删选出那些集合与目标集合相似度高，剔除那些相似度低的，目标为过滤集合。# 以下为minhash方式的jaccard相似度，设置num_perm越大，越接近实际的jaccard相似度（actual_xiangsidu）minhash:用来计算两个大数据量的集合内容的相似度。

文本去重：n-gram、minhash、minhash lsh、jaccard

王东辉的博客

10-25

1783

大语言模型：文本去重

LSH︱python实现MinHash-LSH及MinHash LSH Forest——datasketch（四）

热门推荐

素质云笔记

04-21

1万+

关于局部敏感哈希算法，之前用R语言实现过，但是由于在R中效能太低，于是放弃用LSH来做相似性检索。学了Python发现很多模块都能实现，而且通过随机投影森林让查询数据更快，觉得可以试试大规模应用在数据相似性检索+去重的场景。私认为，文本的相似性可以分为两类：一类是机械相似性；一类是语义相似性。机械相似性代表着，两个文本内容上的相关程度，比如“你好吗”和“你好”的相似性，纯粹代表着内容

minhashlsh实现文本去重

08-22

MinHashLSH是一种基于MinHash算法和LSH（局部敏感哈希）技术的方法，用于实现文本去重。 MinHash是一种用于计算集合相似度的方法。它通过对集合进行随机排列得到一个特征向量，然后针对这个特征向量计算哈希值，...

Day21包和模块

weixin_50199478的博客

10-30

593

一个.py文件就是一个模块。模块是含有一系列数据、函数、类等的程序。包是将模块以文件夹的组织形式进行分组管理的方法，以便更好地组织和管理相关模块。包是一个包含一个特殊的__init__.py文件的目录。

01_IAR新建CC2530工程

nanxl1的博客

11-02

730

由于很多Zigbee商家提供的教程未有从零建立CC2530工程的讲解，可能会导致后面的开发中出现一些琐碎的问题。本文将以**LED流水灯**为例，从0到1用**IAR**建立CC2530工程。

cleanfid库的fid使用，及其使用CLIP模型clip_vit_b_32计算FID

百年孤独百年的博客

11-02

693

这篇博客详细介绍了如何使用 cleanfid 库计算 Fréchet Inception Distance (FID)，特别是利用 CLIP 模型 clip_vit_b_32 计算 FID 分数来评估生成图像的质量。内容涵盖了 FID 的概念和原理、cleanfid 库的安装与配置、从缓存中加载与手动加载模型的方法，以及解决可能遇到的依赖问题。通过这篇教程，可以掌握使用 cleanfid 库计算fid的完整流程，并能够解决服务器环境中遇到的联网与模型下载问题。

Backtrader 数据篇 02

进击的小学生

10-30

993

重新自定义数据读取函数，自定义的方式就是继承数据加载类 GenericCSVData、PandasData 再构建一个新的类，然后在新的类里统一设置参数。如果传递负值（例如：-1），则表示 CSV 数据中不存在该字段自定义的函数，不会修改 Backtrader 底层的数据表格内 lines 的排列规则。

Golang--DOS命令、变量、基本数据类型、标识符