点击上方“MLNLP”,选择“星标”公众号
重磅干货,第一时间送达
编辑:忆臻
https://www.zhihu.com/question/268105631
本文仅作为学术分享,如果侵权,会删文处理
机器学习算法与自然语言处理报道
对自己深度学习方向的论文有idea,可是工程实践能力跟不上,实验搞不定怎么办?
作者:Yulong Wanghttps://www.zhihu.com/question/348376942/answer/846994671
之前没接触过,看了40篇,就想了好几个idea。抱歉,大跃进时代已经过去了,魔改网络连接就能发论文时代已经过去了。你这几个idea,应该是即没深度,也不靠谱。因为所阅读量太少,之前积累太少。你只看到了成功报告的结果,而没看见背后有多少失败的下场。
有idea实现不出来,工程能力跟不上。我据此认定你是转行来的吧。那基本上你缺的至少是python语言熟练运用,bash基本操作,结果分析可视化技巧,数据读取存储。如果你的idea再带上什么魔改op操作,c++/cuda那更别说了。默认你之前会点数据结构matlab,但这些趟一遍下来,至少一年半载入门起步。
想要什么捷径,几乎没有。其实应该感到幸运,因为9102年了,我们有pytorch,tensorflow。网上大把大把的tutorial code repo。不会写你还不会抄嘛
遥想当年,cuda-convnet,theano不堪回首。
batchnorm还没有发明,resnet仍在襁褓。
lstm手写反向传播,让你怀疑自己有没有大脑。
imagenet单卡训一遍,十天半月少不了。
caffe的BGR输入,偷偷把你pretrain结果废掉。
我觉得应该有人找Alex唠一唠
是什么支撑他度过黎明前的黑暗
又是什么让他事了拂身去,把功与名深藏
作者:孙嘉龙https://www.zhihu.com/question/348376942/answer/847043056
正如yulong wang所说,有pytorch和tensorflow已经很好用了,如果组里之前的遗留代码不是基于这些的,可以考虑重写,但重写也不比你看懂它们简单。
现在DL里idea是最廉价的,其实大家能想到的都差不多,这是充分竞争的。
某些领域数据集卡住了一大批人。
原型实现卡住了一些人,但pytorch之流已经很好用了。
硬件资源卡住了一批人,工程性能又卡住了一大批人。
然后才是能够比较好的反复尝试idea的状态,但其实真正的怀疑人生才从这开始。
结论是:工程困难请自己下功夫突破,如果突破不了可能这个方向不适合你。
作者:王斌https://www.zhihu.com/question/348376942/answer/840883415
代码这道坎好像没什么捷径,老师啊同学啊也没法很具体的帮你。
以前我刚开始做科研的时候,也对代码抱有很强的恐惧心理。
一个比较好的办法是,先找到一份完整的深度学习代码,仔细看明白别人是怎么写的,每一处的原理是什么。把一套代码彻底弄明白,自己大概就知道怎么写了。
个人建议,不要在别人的代码上改,还是要自己构建一套,因为别人的代码往往有很多别人独有的东西,你要花很多精力才能改成你想要的,这样效率不高。
代码这种东西,你接触的越深,就越不会畏惧,因为它是纯讲理的。。。
你从7月到现在,满打满算三个月时间,没出结果是正常的,才三个月而已。
作者:齊麒https://www.zhihu.com/question/348376942/answer/842650363
组团是一个不错的选择,但是还是建议自己动手,丰衣足食。
复现实验是理解论文的基础,读代码会是一个颠覆性的过程,可以发现更多的细节,尤其是经典论文,论文代码缺一不可。其实几个框架都有手把手教学的视频,Python也不难上手,好好规划一下时间,逼上梁山纳了投名状才能算彻底落草为寇哇。
这个过程中可能就会发现自己的idea只是自娱自乐,从而进化出更成熟的idea。祝一切顺利。
推荐阅读:
就最近看的paper谈谈预训练语言模型发展
如何评价Word2Vec作者提出的fastText算法?深度学习是否在文本分类等简单任务上没有优势?
从Word2Vec到Bert,聊聊词向量的前世今生(一)