NLP(VII):使用sklearn进行文本情感分类(下)
这一节我们使用gensim来进行单词的向量化。
使用spacy进行tokenize
import spacy
all_texts = np.array(twitter_train_df['text']).tolist() + np.array(twitter_test_df['text']).tolist()
all_tokenized_texts = []
token_freq_dict = {
}
nlp = spacy.load("en_core_web_sm")
for twitt in all_texts:
doc = nlp