Task07:优化算法进阶;word2vec;词嵌入进阶
优化算法进阶
这里提到的ill-conditioned 确实学习了,这里有一个很强的结论,就是在凸优化的时候,在梯度下降方向是有最大步长的,最大值为该方向二阶偏导数倒数的2倍,大于这个值就会发散。
word2vec
这里注意两个地方,一个是二次采样,另一个是负采样近似
词嵌入进阶
import torch
import torchtext.vocab as vocab
print([key for key in vocab.pretrained_aliases.keys() if "glove" in key])
cache_dir = "/home/kesci/input/GloVe6B5429"
glove = vocab.GloVe(name='6B', dim=50, cache=cache_dir)
print("一共包含%d个词。" % len(glove.stoi))
print(glove.stoi['beautiful'], glove.itos[3366])