特征工程（二）TfidfVectorizer

最新推荐文章于 2023-09-17 22:24:23 发布

Datawhale

最新推荐文章于 2023-09-17 22:24:23 发布

阅读量1.5k

点赞数

分类专栏：达观杯nlp算法比赛总结

本文链接：https://blog.csdn.net/Datawhale/article/details/82824156

版权


'''
将原始数据的word特征数字化为tfidf特征，并将结果保存到本地

article特征可做类似处理

'''
import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
import pickle
import time

t_start = time.time()

"""=====================================================================================================================
1 数据预处理
"""
df_train = pd.read_csv('train_set.csv')
df_test = pd.read_csv('test_set.csv')

df_train.drop(columns='arti