- 博客(3)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 基于神经网络的序列标注
最近一段时间做基于句子级的序列标注问题，一般NN效果会比单纯的CRF效果好一点。基于篇章级别的也可以类似的做，NN的思路底层是CNN或者LSTM抽取特征，接着直接给出标签或者加上一层CRF，使用Viterbi算法给出最优解。 1、使用CNN的文章为 2、使用LSTM的文章为 依次为基础的还有一些变形， 1）、不考虑标签之间的依赖程度，例如标点符号预测任务，基本上不加CRF这一层效果也不错。
2016-10-16 23:01:09
1790
原创 关于深度学习向量初始化的简单想法
深度学习分类问题上，在其他条件一样的情况，对不同的词、权重使用均匀分布和高斯分布初始化，得到一些初步实验结果： 1、初步值的选择对最终结果有巨大影响 2、对于各种分布的方差的选择可以参考1/sqrt(m)，m可以简单理解隐藏层个数 3、其实上面只是原则性一些方案，例如隐藏层节点个数=100，那么选择高斯分布的sigma=0.1，在实际实验中，词向量取的比这略大一些效果更好例如0.2，其他矩阵
2016-03-31 10:09:42
1020
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人