![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
文章平均质量分 72
模型小垃圾
这个作者很懒,什么都没留下…
展开
-
双向LSTM做情感分析
1、LSTM层Class torch.nn.LSTM(*args,**kwargs)# pytorch中的输入参数input_size – 数据的特征维度(使用embedding时就是指embedding dim)hidden_size – 隐向量的维度num_layers – LSTM的层数,i层LSTM将使用i-1层LSTM的输出作为输入。默认为1bias – 特征变换时是否使用bias,默认为Truebatch_first – 设置batch_size的位置,当为True时,原创 2021-09-18 16:56:58 · 1295 阅读 · 0 评论 -
使用Fasttext与卷积进行情感分析
FastText情感分析在不使用RNN进行句子的情感分析的条件下,最简单的方法就是将每个句子中划分的token的vector进行平均,然后送入线性分类层中分类即可。但这种操作值考虑了token的含义,并没有关注其语序,有较大的误差。所以FastText计算了输入句子的n-gram,并将n-gram作为一种附加特征来获取局部词序特征信息添加至标记化列表的末尾。n-gram的基本思想是,将文本里面的内容按照字节进行大小为n的滑动窗口操作,形成了长度是n的字节片段序列。def generate_bigram原创 2021-09-24 23:54:03 · 267 阅读 · 0 评论 -
自然语言处理-文本预处理
类似其他的机器学习的数据预处理,自然语言处理也需要进行文本预处理,例如中文需要分词,英文需要词性还原等。常见预处理方法文本规范化大写转小写output_str = input_str.lower()数字处理import reoutput_str = re.sub(r'\d','',input_str)标点符号处理import string...原创 2021-10-12 17:56:53 · 1008 阅读 · 0 评论