Entity Embed安装与配置指南-CSDN博客

本文链接：https://blog.csdn.net/gitblog_00797/article/details/147318121

Entity Embed安装与配置指南

entity-embed PyTorch library for transforming entities like companies, products, etc. into vectors to support scalable Record Linkage / Entity Resolution using Approximate Nearest Neighbors. 项目地址: https://gitcode.com/gh_mirrors/en/entity-embed

1. 项目基础介绍

Entity Embed是一个基于Python的开源项目，它可以将实体（如公司、产品等）转换为向量，以支持可扩展的记录链接/实体解析，使用近似最近邻（Approximate Nearest Neighbors, ANN）技术。该项目的主要目的是为了解决实体解析管道中性能和质量的主要瓶颈——一个可扩展且抗噪声的阻塞过程。

2. 项目使用的关键技术和框架

编程语言：Python
关键技术：
- PyTorch：一个流行的深度学习框架，用于训练和转换实体向量。
- Approximate Nearest Neighbors（ANN）：一种搜索技术，可以在每秒每个CPU上找到成千上万的候选重复记录对。
- Contrastive Loss：一种损失函数，帮助将相似的记录在嵌入空间中保持接近，将不同的记录保持远离。
框架：
- PyTorch Lightning：一个PyTorch的扩展库，用于简化代码并加快研究。
- N2：用于加速ANN搜索的库。

3. 安装和配置准备工作及详细步骤

准备工作

操作系统：MacOS或Linux（已在最新版MacOS和Ubuntu上测试）。
硬件要求：Entity Embed可以在一个功能强大的笔记本电脑上进行训练和运行。测试系统包括32 GB内存，RTX 2070 Mobile（8 GB VRAM），i7-10750H（12线程）。如果批处理大小小于32，并且字段类型较少，即使是2 GB的VRAM也可以进行训练和运行。
Python版本：Python 3.6及以上。
依赖库：Numpy、PyTorch、PyTorch Lightning、N2等，具体要求见项目requirements.txt文件。

安装步骤

克隆项目到本地：

git clone https://github.com/vintasoftware/entity-embed.git
cd entity-embed

安装依赖：
```
pip install -r requirements.txt
```
对于Conda用户，需要先安装PyTorch以获得适当的CUDA支持。在Conda环境中，安装Entity Embed之前，请运行以下命令：
```
conda install pytorch torchvision torchaudio cudatoolkit=11.1 -c pytorch -c conda-forge
```
如果需要示例数据或示例笔记本，可以安装额外的依赖：
```
pip install -r requirements-examples.txt
```
查看示例Jupyter笔记本，以了解如何使用Entity Embed进行去重和记录链接：
- 去重：在单个包含重复数据的脏数据集中使用。运行notebooks/Deduplication-Example.ipynb。
- 记录链接：当有多个清洁的数据集需要链接时使用。运行notebooks/Record-Linkage-Example.ipynb。
在运行notebooks/Record-Linkage-Example.ipynb之后，可以检查notebooks/End-to-End-Matching-Example.ipynb，以了解如何将Entity Embed与成对分类器集成。