word2vec实现域名向量化并计算相似度-python代码

最新推荐文章于 2022-04-24 19:12:41 发布

小官同学今天按时下班

最新推荐文章于 2022-04-24 19:12:41 发布

阅读量650

点赞数 2

文章标签： python word2vec 自然语言处理

本文链接：https://blog.csdn.net/qq_42043311/article/details/120042374

版权

该博客主要介绍如何利用python和word2vec技术将[ip-域名]数据转化为向量表示，并通过余弦相似度找出相似的域名。博主首先展示了数据格式，每个IP后面跟着多个随机打乱顺序的域名。然后，他们提供了代码片段，这部分代码中mypathline类用于生成随机序列，确保数据的随机性。通过这种方法，可以对域名数据进行有效的分析和关联。

摘要由CSDN通过智能技术生成

目的：将[ip-域名]数据embedding成向量，并使用余弦相似度关联出相似域名。

数据：ip1 domain1/domain2/domain3.......

ip2 domain1/domain2/domain3.......

ip3 domain1/domain2/domain3.......

.....

其中，由于想保证数据的随机性，需要将域名数据随机打乱并生成不同顺序的几组数据。

代码：

import numpy as np
from gensim.models import word2vec
import os
from gensim.models import word2vec
import gensim
import logging
from mypathline import PathLineSentences
import random

def model_train(train_file_name, save_model_file):  # model_file_name为训练语料的路径,save_model为保存模型名
    # 模型训练，生成词向量
    logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
    sentences = PathLineSentences(train_file_name)  # 加载语料
    model = gensim.models.Word2Vec(sentences, vector_size=100)  # 训练skip-gram模型; 默认window=5
    model.save(save_model_file)
    model.wv.save_word2vec_format(save_