yanhe156的博客

原版word2vec 提供了一个compute-accuracy的程序，用来计算准确率。 计算时用到了questions-words.txt 这个文件，这个文件内容如下所以，word2vec 计算准确率（包括gensim也是），其实是测试 一个简单的词汇类比任务的准确率。如果用其他语言的预料，或者是在推荐系统中使用word2vec，这个compute-accuracy就不适用了。当然，也可...

发现有些代码处理文本时直接调用keras.preprocessing.sequence.pad_sequences(maxlen)，这个函数将比这个长的序列截断，比这个短的序列补零。同时后面RNN，LSTM等模型也没做任何处理，这样显然有问题，RNN发明出来就是为了避免做padding的。...

keras没有提高attention机制的实现，这里参考kaggle上一个kernel中的attention机制的实现。

Dropout()和SpatialDropout1D()的区别：假设input_shape为batch_size, timesteps, features, Dropout()，Dropout()是在所有数据上dropout，SpatialDropout1D()会按对features的某几个维度进行dropout，如图：左图：Dropout()， 右图：SpatialDropout1D()...

https://nlp.stanford.edu/projects/glove/