tensorflow 实践（一）使用神经网络做中文情感分析

最新推荐文章于 2024-08-16 00:34:20 发布

一个人的场域

最新推荐文章于 2024-08-16 00:34:20 发布

阅读量1.1w

点赞数 4

分类专栏： DeepLearning NLP 文章标签： tensorflow 情感分析中文文本分类

本文链接：https://blog.csdn.net/leiting_imecas/article/details/71246541

版权

本文介绍了一种使用TensorFlow实现的中文情感分析方法，涉及哈工大的文本预处理，包括两层隐藏层的神经网络模型。值得注意的是，预处理阶段进行了停用词和词性的筛选，但并非端到端的模型。执行结果显示了模型的效果。

摘要由CSDN通过智能技术生成

本文使用哈工大做文本预处理；两层隐层神经网络；
后注：不是标准的ann，做了去停用词和词性筛选，没有端到端。

# -*- coding: utf-8 -*-
# @bref :使用tensorflow做中文情感分析
import numpy as np
import tensorflow as tf
import random
from sklearn.feature_extraction.text import CountVectorizer
import os
import traceback

real_dir_path = os.path.split(os.path.realpath(__file__))[0]
pos_file = os.path.join(real_dir_path, 'data/pos_bak.txt')
neg_file = os.path.join(real_dir_path, 'data/neg_bak.txt')

#使用哈工大分词和词性标注
from pyltp import Segmentor, Postagger
seg = Segmentor()
seg.load('/root/git/ltp_data/cws.model')
poser = Postagger()
poser.load('/root/git/ltp_data/pos.model')
real_dir_path = os.path.split(os.path.realpath(__file__))[0] #文件所在路径
stop_words_file = os.path.join(real_dir_path, '../util/stopwords.txt')
#定义允许的词性
allow_pos_ltp = ('a', 'i', 'j', 'n', 'nh', 'ni', 'nl', 'ns', 'nt', 'nz', 'v', 'ws')

#分词、去除停用词、词性筛选
def cut_stopword_pos(s):
    words = seg.segment(''.join(s.split()))
    poses = poser.postag(words)
    stopwords = {}.fromkeys([line.rstrip() for line in open(stop_words_file)])
    sentence = []
    for i, pos in enumerate(poses):