【python】Gpt-embedding文本建模

最新推荐文章于 2024-08-27 16:38:10 发布

率真的瓜子

最新推荐文章于 2024-08-27 16:38:10 发布

阅读量280

点赞数 17

分类专栏： python数据分析文章标签： python gpt embedding

本文链接：https://blog.csdn.net/tianty1121/article/details/141599377

版权

python数据分析专栏收录该内容

3 篇文章 0 订阅

订阅专栏

要使用Gpt-embedding计算两组在不同主题下的相似度，可以按照以下步骤进行：

1. 准备数据

收集公司文档 $D_c$ 和政府文档 $D_g$ 。

2. 定义主题和关键词

设定主题集合 $\{t_1, t_2, \ldots, t_n\}$ 和对应的关键词集合 $K(t_i)$ 。

3. 生成主题嵌入

对于每个主题 $t_i$ ，生成嵌入向量 $E(t_i)$ ：
$E(t_i) = \text{Embedding}(K(t_i))$

4. 生成文档嵌入

生成公司文档和政府文档的嵌入向量：
$E(D_c) = \text{Embedding}(D_c)$
$E(D_g) = \text{Embedding}(D_g)$

5. 计算相似度

对于每个主题 $t_i$ ，计算公司文档与主题的相似度 $S_c(t_i)$ 和政府文档与主题的相似度 $S_g(t_i)$ ：
$S_c(t_i) = \text{CosineSimilarity}(E(D_c), E(t_i))$
$S_g(t_i) = \text{CosineSimilarity}(E(D_g), E(t_i))$
计算公司文档与政府文档之间的相似度 $ S(D_c, D_g) $：
$S(D_c, D_g) = \text{CosineSimilarity}(E(D_c), E(D_g))$

6. 输出结果

输出每个主题的相似度得分：
$\text{Result} = \{(t_i, S_c(t_i), S_g(t_i), S(D_c, D_g)) | \forall t_i \in T\}$

要点

使用text-embedding-3-small模型为每个主题的关键词生成嵌入向量。
使用相同的模型为公司文档和政府文档生成嵌入向量。
对于每个主题，计算公司文档嵌入与政府文档嵌入之间的相似度得分。

示例代码（Python伪代码）

from sklearn.metrics.pairwise import cosine_similarity
import numpy as np
import openai  # 确保你安装了OpenAI的Python库

# 假设你有两个文档
company_document = "公司文档内容"
government_document = "政府文档内容"

# 定义18个主题和关键词
themes = {
    "主题1": ["关键词1", "关键词2"],
    "主题2": ["关键词3", "关键词4"],
    # 继续为其他主题定义关键词，直到主题18
}

# 生成主题嵌入
theme_embeddings = {}
for theme, keywords in themes.items():
    keywords_str = ' '.join(keywords)
    embedding = openai.Embedding.create(input=keywords_str, model="text-embedding-3-small")['data'][0]['embedding']
    theme_embeddings[theme] = embedding

# 生成文档嵌入
company_embedding = openai.Embedding.create(input=company_document, model="text-embedding-3-small")['data'][0]['embedding']
government_embedding = openai.Embedding.create(input=government_document, model="text-embedding-3-small")['data'][0]['embedding']

# 计算每个主题的相似度
similarity_scores = {}
for theme, theme_embedding in theme_embeddings.items():
    # 计算公司文档和政府文档与主题的相似度
    company_similarity = cosine_similarity([company_embedding], [theme_embedding])[0][0]
    government_similarity = cosine_similarity([government_embedding], [theme_embedding])[0][0]
    
    # 计算公司和政府文档之间的相似度
    document_similarity = cosine_similarity([company_embedding], [government_embedding])[0][0]
    
    # 存储相似度得分
    similarity_scores[theme] = {
        "company_similarity": company_similarity,
        "government_similarity": government_similarity,
        "document_similarity": document_similarity
    }

# 输出结果
for theme, scores in similarity_scores.items():
    print(f"Theme: {theme}, Company Similarity: {scores['company_similarity']}, Government Similarity: {scores['government_similarity']}, Document Similarity: {scores['document_similarity']}")