SrdLaplace的博客

Berthelot D, Carlini N, Goodfellow I, et al. Mixmatch: A holistic approach to semi-supervised learning[J]. arXiv preprint arXiv:1905.02249, 2019.https://github.com/samihaija/mixhop半监督学习的核心想法是利用无标注的数...

Fan S, Zhu J, Han X, et al. Metapath-guided Heterogeneous Graph Neural Network for Intent Recommendation[J]. 2019.https://github.com/googlebaba/KDD2019-MEIRecAbstract与传统的查询推荐和项目推荐不同，意图推荐是在用户打开应用程序时...

最近玩了玩 BERT，做了一些实验，感觉还挺有意思的，写点东西记录一下，我会从粗到细，从简单到复杂，一层一层的说明白 BERT 的每一步。

词向量词向量是自然语言理解的重要工具，它的核心思想是把词映射到一个向量空间，并且这个向量空间很大程度上保留了原本的语义。词向量既可以作为对语料进行数据挖掘的基础，也可以作为更复杂的模型的输入，是现在 nlp 的主流工具。下面就总结一下 nlp 中经典的词向量方法。主要有：onehot、glove、cbow、skip-gram

CTC是一种端到端的语音识别技术，他避免了需要字或者音素级别的标注，只需要句子级别的标注就可以进行训练，感觉非常巧妙，也很符合神经网络浪潮人们的习惯。特别是LSTM+CTC相较于之前的DNN+HMM，LSTM能够更好的捕捉输入中的重要的点（LSTM随着状态数目增加参数呈线性增加，而HMM会平方增加），CTC打破了隐马尔科夫的假设，把整个模型从静态分类变成了序列分类。语音识别的评价指标在语音识别...

声纹识别的历史和一个简单的声纹识别模型

下载数据训练集(138G)验证集(6.3G-50000张)train_label.txtvalidation_label.txtp.s. 用迅雷下还挺快的，3天搞定数据解压tar xvf ILSVRC2012_img_train.tar -C ./train tar xvf ILSVRC2012_img_val.tar -C ./val对于train数据集，...

Similarity Learning and Loss FunctionSimilarity Learning也叫metric learning，是为了学习在原特征空间上的线性或非线性变换，使得在新的特征空间上相似度或者距离满足一定的性质。 深度学习在设计很多loss就用到了metric learning的想法。把最后一层特征空间作为新的度量空间，加入一些相应的loss，使得度量空间满足一...

最近公司的8GPU的服务器就我一个人用，为了不浪费资源，自己瞎捣鼓捣鼓模型，搭个DenseNet玩玩，跑跑过大名鼎鼎的ImageNet。在实现的过程中发现了tensorflow的一个很大的缺点，希望有人感觉把这坑填上。DenseNet的想法和结构在CNN进化史里介绍过，就不赘述了，直接说实现的细节：architecture（结构）:Composite functionH(x)H(x)...

def quick_sort(lis,s,e,r): """ 优点：快速简洁，不需要额外内存 缺点：最差为n^2，不稳定，递归层数很深 trick：打乱，tail sort """ if s>=e: return if r<=0 or e-s < 5: