【汽车行业用户观点主题及情感识别】my简单解决方法

首先附上本篇文章的流程图

加载和观察数据

第一步是加载和观察训练集和测试集。

导入需要用到的包

import jieba
import pandas as pd
import numpy as np
from sklearn import preprocessing, decomposition, model_selection, metrics, pipeline
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import TfidfVectorizer, CountVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier

pandas读取csv数据

train = pd.read_csv('data/input/train.csv')
test = pd.read_csv('data/input/test_public.csv')
sample = pd.read_csv('data/input/submit_example.csv')

查看训练数据和测试数据

train.head()

第一列为id,第二列为评论文本，第三列为类别，第四列为情感词，第5列为分析情感的依据词。

test.head()

这里训练集有9947行 测试集有2364行
要根据content内容预测出其主题和情感。注意可能有多个主题，每个主题的情感可能不同。

合并所有的content

这里合并所有的content内容

train_cutted = train[['content']]
test_cutted = test[['content']]
all1 = train_cutted.append(test_cutted,ignore_index=True)

这里一共有12311行

预测标签转换

类别标签转换使用LabelEncoder()进行转换

lbl_enc = preprocessing.LabelEncoder()
lbl_enc.fit(["动力", "价格", "内饰", "配置","安全性","外观","操控","油耗","空间","舒适性"])
y = lbl_enc.transform(