小红书笔记主题分析

机器玄学实践者

于 2022-03-31 19:13:04 发布

阅读量1k

点赞数 1

分类专栏：新媒体文章标签：小红书 NLP

本文链接：https://blog.csdn.net/weixin_39673686/article/details/123880722

版权

本文介绍如何利用Python库sklearn和pandas对小红书笔记进行爬取和分析。通过词向量将文本转化为向量，运用KMeans进行无监督聚类，将每个笔记归类。

摘要由CSDN通过智能技术生成

# -*- coding: UTF-8 -*-
import numpy as np
import argparse
import random
import pickle as pk
import json


def save_json(file, res):
    """
    保存 dict 到本地json 文件 ， 自动创建json
    :param file: json 文件名
    :param res: 数据
    :return:
    """
    with open(file, 'w', encoding='utf-8') as wr:
        json.dump(res, wr, ensure_ascii=False, indent=2)


def load_json(file):
    """
    读取本地json文件，得到dict
    :param file: json 文件名
    :return:
    """
    with open(file, 'r', encoding='utf-8') as reader:
        res = json.load(reader)
    return res


def save_cache(file, ob):
    wr = open(file, 'wb')
    pk.dump(ob, wr)
    wr.close()


def load_cache(file):
    re = open(file, 'rb')
    ob = pk.load(re)
    re.close()
    return ob

def read_vectors(path, topn):  # read top n word vectors, i.e. top is 10000
    lines_num, dim = 0, 0