一,全链接神经网络对比循环神经网络实现文本分类缺点
1,信息丢失
- 全链接神经网络会做embedding的合并,导致信息丢失
- 全链接神经网络运算时必须用padding操作使数据shape相同,造成Pad噪音,无主次
2,无效计算太多,效率低
- 由于较多的padding会参与到计算中,无效计算较多,降低效率
二,什么是序列式问题
序列式问题分为如下几种
1,普通神经网络(1对1)
2,图片生成描述(1对多)
3,文本分类 / 文本情感分析(多对1)
4,encoding-decoding机器翻译(多对多)
5,实时多对多:视频解说
三,什么是循环神经网络