- 博客(3)
- 资源 (5)
- 收藏
- 关注
原创 基于神经网络的序列标注
最近一段时间做基于句子级的序列标注问题,一般NN效果会比单纯的CRF效果好一点。基于篇章级别的也可以类似的做,NN的思路底层是CNN或者LSTM抽取特征,接着直接给出标签或者加上一层CRF,使用Viterbi算法给出最优解。 1、使用CNN的文章为 2、使用LSTM的文章为 依次为基础的还有一些变形, 1)、不考虑标签之间的依赖程度,例如标点符号预测任务,基本上不加CRF这一层效果也不错。
2016-10-16 23:01:09
1790
原创 关于深度学习向量初始化的简单想法
深度学习分类问题上,在其他条件一样的情况,对不同的词、权重使用均匀分布和高斯分布初始化,得到一些初步实验结果: 1、初步值的选择对最终结果有巨大影响 2、对于各种分布的方差的选择可以参考1/sqrt(m),m可以简单理解隐藏层个数 3、其实上面只是原则性一些方案,例如隐藏层节点个数=100,那么选择高斯分布的sigma=0.1,在实际实验中,词向量取的比这略大一些效果更好例如0.2,其他矩阵
2016-03-31 10:09:42
1020
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人