![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
deeplearning
文章平均质量分 65
MoonLer
这个作者很懒,什么都没留下…
展开
-
nvidia-smi CUDA处显示 ERR!
序记一个小报错,方便他人和自己自己在docker上碰到的一个报错,最后原因: nvidia驱动和cuda版本不匹配ps: 我确定我有CUDA并且正常…我直接pull下来的好吧报错CUDA版本为 9.0正常自己为了验证想法换了一个镜像,果然成功!...原创 2019-12-03 20:57:41 · 4028 阅读 · 1 评论 -
DRQA-简单的思路整理
序言前段时间看了cdqa,所以自己顺手也把这个给看了看,没有细看,只是大致浏览了下源码由于cdqa是继承drqa的关系,所以两者框架思路很很多trick都是通的.简介官方githubhttps://github.com/facebookresearch/DrQA/#machine-reading-at-scale项目对应论文( 竟然是陈丹琪的一作…)https://arx...原创 2019-12-03 19:17:00 · 1796 阅读 · 0 评论 -
ubuntu 16.04 + GTX1050安装nvidia驱动
0 序由于某些原因,配好的nvidia驱动崩了,崩了的大致情况如下:nvidia-smi没有了nvidia-setting显示none重装吧.但是重装过程中碰到了很多小bug,快疯了,这里都记录一下.1. 最最前面每一条命令别傻傻的复制粘贴,要想清楚(我因为复制粘贴最近两天跳了无数的坑…不只是这个驱动安装)安装失败别害怕,删了重来,我就装了十几次,找了很多博客才装好.2. ...原创 2019-12-01 13:30:50 · 1561 阅读 · 0 评论 -
CDQA-简介与资料
序算是自己看得机器阅读理解的第一个小项目,断断续续看完了,还是有点收获的,所以把自己学的时候的一些资料放上来,其实github上都有,自己只是总结下.CDQA: closed-domain QA,闭域的QA系统.项目官方资料项目github官方:https://github.com/cdqa-suite/cdQACDQA——suithttps://github.com/c...原创 2019-11-27 22:01:08 · 795 阅读 · 0 评论 -
CDQA——BM25算法
序自己在看这个开源代码中看到了这个相似性算法和一些工程中的技巧,感觉很不错,算是多了点儿见识,以前还从没有用过稀疏矩阵这个存储结构,这里就写一个文档简单记录一下python小知识Python中关于eval函数与ast.literal_eval使用的区别介绍(图文)https://www.php.cn/python-tutorials-376459.htmlnumpy的广播机制(具体...原创 2019-11-25 16:25:36 · 455 阅读 · 0 评论 -
混合精度训练——资料+简单说明
序最近看CDQA这个开源库的时候看到了混合精度训练这种写法,所以简单去了解了下,结果得出了一个很悲催的结论:我的小破笔记本的显卡不支持混合精度训练…??!自己不研究这个,找到一些很不错的资料,自己看完后这里就奉送上!Tensor Core-----------------------------大神自取-----------------------------2. 想读读PyTor...原创 2019-11-23 16:51:38 · 504 阅读 · 0 评论 -
机器阅读理解文章推荐2—— 《Neural machine reading comprehesion:methods and threds》
序这是一篇综述类论文,由于机器阅读理解领域也算是现在深度学习流行领域的分支,市面上不会有像深度学习入门级别的教程那样那么多的资料,甚至找本好的书都难,个人只能考读论文和一些博客学习。看了一系列论文后,觉得自己需要连贯起来,对这个领域大致有一些了解,正好看到了这篇综述类论文,感觉还可以。读后感既然是综述论文,基本就是总结前人工作,所以很多东西自己都看过。论文对于整体的概括做的不错,很...原创 2019-11-16 14:37:19 · 177 阅读 · 0 评论 -
高斯混合模型资料
序这部分内容自己写也是搬运别人的,而且看完感觉不算难,这里就放上资料了。阅读顺序见下:[ 1 ] 多维高斯分布[ 2 ] EM及高斯混合模型[ 3 ] 代码代码基本和[2]推出的结论一样,理清出维度变换就好了。补充资料:自己本来是先看的下面的内容,但是不少细节没看懂,果然纯粹的理论我还是差火候,只能靠上面那三个捞了我一手。白板推导系列(十一)-高斯混合模型GM...原创 2019-10-29 21:20:38 · 113 阅读 · 0 评论 -
《A Through Examination of the CNN_Daily Mail Reading Comprehension Task》——Stanford Attentive Reader
序论文其他细节不再注意,只关注它的网络结构。可能是年代比较久远,github上只有一个这篇论文的代码…还是python2.7的模型结构模型分三部分:第一部分,编码:问题的词编码一样,先通过一个embedding表,把词编程embedding,然后过双向GRU,前向和后向连在一起表示这个token出的表示,同样对问题也编码,只说了问题编码后的维度:h,估计和其他论文一样,都是前向后...原创 2019-10-29 18:13:57 · 290 阅读 · 0 评论 -
《 Text Understanding with the Attention Sum Reader Network 》——Attention Sum Reader
序作为清华推荐的阅读理解论文的一篇,同时在张俊林大佬的博客里也看到了他的身影,觉得有必要看波论文,学习一下。(Attention Sum Reader)AS Reader可以看作是一维匹配结构的典型示例。这是一篇IBM 的几位大佬在2016年发表的论文(比较久远了)摘要We present a new, simple model that uses attention to dir...原创 2019-10-28 19:05:56 · 171 阅读 · 0 评论 -
机器阅读理解推荐博客文章
文章深度学习解决机器阅读理解任务的研究进展 author: 张俊林一直在关注的一位大佬,最开始准备入阅读理解的时候就找到了这篇文章,但是由于没有这方面的背景知识,看起来很难受,在看了三篇相关的论文后,重新回头看,收获颇多。总结看完才知道,memor network原来可以从推理的角度看结构,精彩,而且意识到了推理在阅读理解中的重要性。Stanford AR的匹配函数则采用了双线性...原创 2019-10-28 16:10:50 · 153 阅读 · 0 评论 -
Teaching Machines to Read and Comprehend
序看博客都说《Teaching Machines to Read and Comprehend》是机器阅读理解的开山作,今天就来好好理一波。网上没有找到对应tensorflow的代码,只有一版theno的,此处就只从论文角度思考了。数据DeepMind Q&A Dataset CNN/Daily Mail处理好的数据下载连接对应数据下载处理的github代码:...原创 2019-10-27 15:46:54 · 337 阅读 · 0 评论 -
End-To-End Memory Networks
序本文简单记录一些自己读论文时看到的有趣的点,其他通俗的东西就不详细写了。《Memory Networks》是这一系列的开山之做,本文的提出是就在于 “End-to-End”,简单来说就是可以直接用反向传播优化算法训练了,就是文中提到的一个词:模式是连续的。特点: 外部记忆,end-to-end个人也找了个代码看了看:链接 ,当然代码github上很多,而且很有可能代码复现和论文说的细节...原创 2019-10-26 14:12:38 · 545 阅读 · 0 评论 -
深度学习——DNN反向传播
理解链式求导 网站链接:https://www.bilibili.com/video/av10435213?from=search&seid=5523894613383510820 膜拜大神,我就知道,这位大神不会让我失望,这视频弄得我无话可说,想理清楚的思路全都有,最关键的是要学习大神的思考方法——那惊为天人的可视化。为什么写这篇文章:...原创 2018-11-08 21:19:10 · 387 阅读 · 0 评论 -
如何用深度学习做自然语言处理?这里有份最佳实践清单
开篇看了一篇很有启发的博客,对照着审视自己,没有转载权限,这里放上链接:如何用深度学习做自然语言处理?这里有份最佳实践清单原创 2019-10-01 12:04:50 · 143 阅读 · 0 评论 -
BPE算法系列——seq2seq模型中的未登录词
序在看transformer的代码时,看到了这个预处理,记得在最初做cnn情感分类的时候想过如何解决低频词和未登录词的问题,大致看过它,今天正好,趁此机会,学习一下这个算法。此算法在2016年,由《Neural Machine Translation of Rare Words with Subword Units》提出,应用于机器翻译,解决 集外词(OOV)和罕见词(Rare word)问...原创 2019-10-01 14:13:18 · 1029 阅读 · 0 评论 -
BPE系列之—— BPE算法
序在看transformer的代码时,看到了这个预处理,记得在最初做cnn情感分类的时候想过如何解决低频词和未登录词的问题,大致看过它,今天正好,趁此机会,学习一下这个算法。此算法在2016年,由《Neural Machine Translation of Rare Words with Subword Units》提出,应用于机器翻译,解决 集外词(OOV)和罕见词(Rare word)问...原创 2019-10-01 17:59:25 · 6281 阅读 · 1 评论 -
Transformer——代码篇
序理论基本看完了,宏观认知有了,所以?开始愉快的lu代码把。参考[ 1 ]The Annotated Transformer[ 2 ]A TensorFlow Implementation of the Transformer: Attention Is All You Need[ 3 ]机器翻译模型Transformer代码详细解析...原创 2019-10-02 16:45:10 · 5000 阅读 · 3 评论 -
情感分类——attention
序Transformer代码看完,正好试试它分类的效果,虽然不太正经…参数词向量随机初始化加了原论文的位置向量和mask两个head三个block块num_epochs = 20 # epochsbatch_size = 32 # batch_size代码其实就是transformer的encode部分,除了最后输出要变一下用于分类。代码...原创 2019-10-03 12:56:52 · 582 阅读 · 0 评论 -
并行计算——Udacity并行计算课程
序我只能用一句woc来形容我的心情了…Udacity并行计算课程白嫖Google GPU完成Udacity CUDA CS344 并行计算入门暂时挖一个大坑…最近看到太多好东西了,学不过来,个人操组系统学得一团糟,准备先补了操作系统再肝这个。...原创 2019-10-03 13:24:06 · 289 阅读 · 0 评论 -
情感分类——glove
序言glove自己很早就看完过,但是一直没有空看看源码,今天趁前面分类模型实验基本结束,看看它的源码。glove理论讲解glove源码Why is it?个人学习一个东西得弄清楚为什么学习它,glove的出现一定有他的道理。具体可以简单看看NLP CS224N笔记】Lecture 3 GloVe: Global Vectors for Word Representation下面...原创 2019-10-03 15:17:38 · 593 阅读 · 0 评论 -
word2vec中的skipgram和CBOW的比较
序word2vec里有两种模型思路,我觉得需要有个宏观对比印象。对比参考[1]因此,从更通俗的角度来说:在skip-gram里面,每个词在作为中心词的时候,实际上是 1个学生 VS K个老师,K个老师(周围词)都会对学生(中心词)进行“专业”的训练,这样学生(中心词)的“能力”(向量结果)相对就会扎实(准确)一些,但是这样肯定会使用更长的时间;cbow是 1个老师 VS K个学...原创 2019-10-03 17:17:18 · 1560 阅读 · 0 评论 -
Word2vec——语言模型篇
序其实,语言模型这个东西才是Word2vec最最核心的东西,但是网上博客给人种过于重视于Hierarchical Softmax和Negatove sampling这两个训练trick,凡事有个因果,这篇我来探讨一下,Word2vec的因。类似于整个NLP的趋势:规则->统计->神经网络,我们的语言模型也有这样一个发展趋势。本文是对:https://blog.csdn.net/...原创 2019-10-03 17:39:12 · 692 阅读 · 0 评论 -
Transformer——理论篇
序在看这一篇之前,我希望你有一定的基础知识:1. CNN,RNN,Transformer比较2. Attention机制3. self-attention机制本文将紧接着前文的内容,对Transformer再进行一次探索(本人之前很浅的看过一遍,当初没有写点理论的笔记,现在忘了还得重新翻资料)Transformer没有你想的那么难,我们开篇。Who is it?姓名:Tra...原创 2019-09-30 19:22:16 · 1455 阅读 · 0 评论 -
情感分类——self-Attention
序本文为前文:Attention机制的延伸篇。self-attenion对应的视频个人推荐李宏毅讲解的版本。偏向于求解,但是讲的非常nice。首先,个人先做一个自己理解的比喻:attention其实可以看作一个有目标性的提取信息的过程,上一篇中的attention是根据target有选择性的提取source中的信息,那self-attention,其实就是自己提取自己的信息呗。那按照这个...原创 2019-09-30 00:37:56 · 1998 阅读 · 4 评论 -
ubuntu安装gensium碰到scipy报错
报错Cannot uninstall 'scipy'. It is a distutils installed project and thus we.......原因猜测是scipy版本对于gensium过低,但是gensium自动安装新的scipy时没有成功。解决过程先说解决方案吧,手动强制更新scipy:sudo pip install --ignore-install...原创 2019-03-27 20:23:22 · 305 阅读 · 0 评论 -
NLP入门资料
书籍 Speech and Language Processing https://web.stanford.edu/~jurafsky/slp3/视频cs224d课程目录,作业,ppt,推荐阅读等等:http://web.stanford.edu/class/cs224n/B站视频:https://space.bilibili.co...原创 2019-03-12 09:55:15 · 85 阅读 · 0 评论 -
机器学习&深度学习博客大神记录
1.Jack Cuihttps://cuijiahua.com/2. 蓝亚之舟http://zhoushuo.net/3. xuzhongyou 博客https://xuzhongyou.github.io/4.博客——博主(大奥特曼打小怪兽)https://www.cnblogs.com/zyly/5. 苏剑林https://spaces.ac.cn/6...原创 2019-02-27 18:38:14 · 344 阅读 · 0 评论 -
DCGAN——菜鸟系列 model.py
参考[1] DGAN代码简读https://www.colabug.com/2958322.html[2]基于DCGAN的动漫头像生成神经网络实现https://blog.csdn.net/sinat_33741547/article/details/77871170[3] batch norm原理及代码详解博客: https://blog.csdn.net/qq_257...原创 2019-01-09 12:10:33 · 2497 阅读 · 2 评论 -
DCGAN——菜鸟实现
收获 在复现这个项目以前,我算是一个完全不入门的人。 所以,第一遍我花里很大的精力取读懂代码,第二遍根据视频去理清思路,第三遍根据tensorflow框架的学习去代码中寻找他的身影。所以,整个项目下来,写的可能水平参差不齐,我不清楚要怎么表达,怎么表达出来,更多的是这个过程的记录,你会看到各个过程的身影。 首先,我明白了顺序的重要性。先看论文,再看代码是一个不错的选择。这一次由于没有思...原创 2019-01-09 12:08:14 · 4296 阅读 · 3 评论 -
深度学习——RNN初识
资料 1.快速了解视频(bilibili莫凡视频) https://www.bilibili.com/video/av15998703?from=search&seid=4200091979965196821 2. 详细介绍: http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-p...原创 2018-11-24 16:47:43 · 381 阅读 · 0 评论 -
深度学习——卷积学习部分资料汇总
导言1. 关于卷积的一个血腥的讲解:https://blog.csdn.net/aa578232405/article/details/74839554 网址1.可视化工具 http://scs.ryerson.ca/~aharley/vis/conv/2.tesnsorflow的中文文档 http://wiki.jikexueyuan....原创 2018-11-08 21:28:13 · 130 阅读 · 0 评论 -
深度学习——入门笔记(3)
此处是硬着头皮跳过得(反向传播,因为我发现我看的懂每一句话,每一个推导,但是去细想很多东西却有种轰然崩塌得感觉,所以继续进行)改善神经网络的方式:(其实就是将结果优化的方式)1.交叉成本熵函数错误的定义是无意义的,因为人类是从错误中学习的,但是根据常识,人犯的错误越大,学习效果越好,可对神经网络而言却不一定。(文章举了两个例子)(原因也很简单:sigmod导数变化率小)...原创 2018-10-24 22:10:04 · 315 阅读 · 0 评论 -
tensorflow——入门代码三(minist master)
接着上述视频做笔记(感慨一下,还是有点收获的)一:plot result(用matplotlib将结果可视化)首先,我照着代码写了一遍,和上回一样,果然,是和视频展示结果不一样的。结果如下:所以,找bug任务又开始了。(部分代码如下)(1)确认了:循环是执行了的(2)确认了prediction_value是有值的 中间有个插曲(https://blog.csdn...原创 2018-10-24 20:40:15 · 154 阅读 · 0 评论 -
深度学习——笔记(2)
走向深度学习:作者想用将复杂问题简单化的思路,将神经网络的工作方法简单叙述一遍。接着引出了经典算法,反向传播算法。反向传播算法首先,纯英文(不翻译)...作者开始只是进行了符号的说明:顺便也和上节课代码联系了一下,符号说明很容易理解。损失函数的两个假设第一个假设:原文的排版让人不忍直视:(https://blog.csdn.net/csj941227/a...原创 2018-10-21 11:38:59 · 165 阅读 · 0 评论 -
范数——(初识)
1.起因 在照着书打代码时,看到了一句莫名其妙的代码:np.linalg.norm() 百度一下————这是范数......... 很久以前听过这个东西,今天碰到了,简单了解下吧。2.懵逼的开始https://blog.csdn.net/qq_15807167/article/details/62222151我只能说,这水很深,这个...原创 2018-10-25 12:29:19 · 535 阅读 · 0 评论 -
深度学习——入门笔记(1)
最近有个三天小长假,也没有什么繁琐的事儿,正好用来学点东西。自己根据自己的特点,找了本实践和理论结合的深度学习的书,也不想那么多,看完再说。以前喜欢做笔记,但是发现找起来太麻烦,所以这次尝试着些博客吧。书籍链接:http://neuralnetworksanddeeplearning.com/about.html代码链接:https://github.com/mnielsen/neur...原创 2018-10-19 19:50:54 · 286 阅读 · 0 评论 -
tensorflow——入门代码二(minist master)
继上篇,继续视频代码笔记。一:placeholder(tensorflow)具体不造有什么用。结果:二:action function激励函数(tensorflow)(目前:我自己理解为:1.压缩,使其值(激活值)位于0到1之间;2.表示了模型的偏好(个人理解,总觉得他和偏置值有着类似的作用))三:添加神经网络层(tensorflow)(函数)其实如果看过神...原创 2018-10-13 18:44:30 · 299 阅读 · 0 评论 -
SVM
说在前面 终于有时间,好好学一下被提及无数次的SVM,曾经学过但那时没有机器学习的思想,学完接受很少一部分,现在决定重新温习一遍。 这是一个系列,SVM当作第一个。不想照搬照抄书上的东西,写多篇关于SVM的博客教程,真正想学好SVM,底层推导的东西还是看书比较好,更加系统。 所以,本文主要帮助顺一下整个SVM的流程和一些有意思的地方,因为总有人急于理论,被一章一章...原创 2019-07-10 11:45:40 · 253 阅读 · 0 评论 -
NLP系列之文本分类(转载)
最前面brightmart大佬的仓库:text_classification:https://github.com/brightmart/text_classification自己也在做一个类似的,但是为什么我才看到…要是早看到,能方便很多…1前言本篇博客主要是记录自然语言处理中的文本分类任务中常见的基础模型的使用及分析。Github上brightmart大佬已经整理出很完整的一套文...转载 2019-09-29 16:31:39 · 550 阅读 · 0 评论