LaineGates的专栏

这里写自定义目录标题常见名词术语任务常见名词术语fine tunning (微调):调整参数WordPiece 嵌入：WordPiece是指将单词划分成一组有限的公共子词单元，能在单词的有效性和字符的灵活性之间取得一个折中的平衡。例如图4的示例中‘playing’被拆分成了‘play’和‘ing’；位置嵌入（Position Embedding）：位置嵌入是指将单词的位置信息编码成特征向量，位置嵌入是向模型中引入单词位置关系的至关重要的一环。位置嵌入的具体内容参考我之前的分析；分割嵌入（Segm

测试pytorch 例子，尝试使用下面代码下载数据，实在太慢了。trainset = torchvision.datasets.CIFAR10(root='./data', train=True, download=True, transform=transform)testset = torchvision.datasets.CIFAR10(root='./data', train=False,

知识图谱相关论文,没有用深度学习模型,但号称达到了state-of-art结果. 以为用了深度学习才看的,结果读完发现并没有…作者W Cui ， H Wang ， H Wang ， Y Song ， SW Hwang ， …来源《Proceedings of the Vldb Endowment》 , 2017 , 10 (5) :565-576问题使用知识库...

关键词Bi-GRU, Bi-LSTM, attention sum来源arXiv 2016.03.04 (published at ACL 2016)问题使用带attention的深度模型解决完型填空问题技术细节模型比attentive reader简单，分以下几步：使用双向GRU/LSTM单元计算docment每个词的拼接词向量doc_endcoer

关键词End2End, Memory Networks, Multiple hops来源arXiv 2015.03.31 (published at NIPS 2015)特色设计了全新网络，相对于LSTM，以词为单位的时序，memory network是以句子为单位。解决方案原图 加备注图 计算过程按原图lookup词表A获得句子

关键词real natural language traning data, nerual model来源Teaching Machines to Read and Comprehend arXiv 2015.06.10 (published at NIPS 2015)问题针对阅读理解缺乏大规模训练数据集，从CNN和Daily Mail获取数据，构建了相应的数据集。文章直接做document，关键

最近小研究了下fastText过程，挺有收获，这里单讲下fastText的ngram处理过程，其余训练一类和word2vec很像，有兴趣的请移步 fastText 源码分析。基础信息首先说下 （1）ngram的使用前提是数据稀疏，这一点极其重要，也是后文成立的关键； （2）fastText训练和预测使用的隐藏层和输出层大小是一致的； （3）fastText的ngram并没有有意保存ngram

常见参数说明epoch：整个数据集，通常几个epoch，就会完整跑几轮数据集（但随机取样时不一定会全用） batch:一次训练的数据集大小，常见的128,256,… learning rate:学习速度常见函数说明获取shape值a = tf.Variable([[1,2,3],[4,5,6]],dtype=tf.float32)print(a.shape) p...