- 博客(4)
- 资源 (1)
- 收藏
- 关注
原创 word2vector 一些问题及思考
本文是看了论文《Distributed Representations of Words and Phrases and their Compositionality》的学习笔记。 话不多说。 贴上cbow 和skip-gram的示意图,一个是以context预测word,一个是word预测上下文。 听同学说业界主要用skip-gram加上negative sampling这一套。论文里面也主
2017-04-30 20:49:11 5204
原创 逻辑斯蒂回归公式推导
逻辑斯蒂回归,一个不是很恰当的理解就是在线性回归的基础上加了一个sigmoid函数。将其输出空间映射到0-1上面来。 然后映射后的这个值就代表他被分为类别1的概率。话不多说。这个就是逻辑回归(线性回归加上sigmoid的)最基本的公式。 线性回归是用y = wx_i +b 去拟合y_i也就是训练一组参数w使得wx+b尽可能的去逼近,而逻辑回归中的对数几率回归(周志华老师的书上有介绍,这里就不啰嗦
2017-04-30 11:57:11 6257
原创 Memory Network简单理解
最近想把memory network的那一套引入到自己的任务中,所以写一些学习过程中的笔记。 here is the paper http://cs224d.stanford.edu/reports/KapashiDarshan.pdfmemory 最开始出现在是 QA(问答系统)任务中。下面是memory network的结构 由4个单元组成 input单元 ,Generalization
2017-04-29 21:18:59 9250
原创 Dropout: A Simple Way to Prevent Neural Networks from Overfitting
本文来自《Dropout: A Simple Way to Prevent Neural Networks from Overfitting》 以学习笔记的形式书写,有些地方写得或者翻译得不太恰当,望见谅!!过拟合问题一直是深度学习中难以处理的问题,dropout的key idea就是在训练过程中随机的”丢弃”掉一部分units。 这里的丢弃是指暂时性的remove,而不是永久的。 可以从两个
2017-04-20 13:10:50 5249
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人