机器学习中的End-to-End到底是怎么回事?

简单讲就是,Input--->系统(这里指神经网络)--->Output(直接给出输入,NN神经网络就给出结果,一气喝成!!!)

借用一段对话:(http://dy.163.com/v2/article/detail/C3J6F2NJ0511AQHO.html


  机器之心:那你现在最主要的兴趣是在视觉和在语言处理这方面的这个方向吗?

  田渊栋:这些方向都会有涉及。但现在时代不同了,不应该把自己限制在视觉或者某个特定方向。

  机器之心:不是一个专门的应用。

  田渊栋:对,因为感觉上自然语言处理、图像、语音,这些基本上都是应用了。所以说如果必要的话,其实可以在这个中间进行切换,或者做一些交叉的方向。以前做这三个方向,可能需要大量的领域知识,特别是做自然语言处理,要学以前语言学的文献。要做分词,比如说每个词给一些词性。要做一些语法的分析、语素的分析,有很多很多的步骤。但现在的趋势是从头到尾都让机器学。

  机器之心:就是他们说的 end-to-end。

  田渊栋:是的,end-to-end 端对端的学习。比如说自然语言这一块,并没有比以前的效果好太多,但整个流程变得很简单方便,将来进步的速度可能就会变快。比如机器翻译里面,你把一个句子,直接通过神经网络翻译成另外一个语言的句子,这样就比以前快。以前可能要分词呀,词性标注呀,对每个词找到另外一个语言对应的词或者词组,找到之后再重新排列一下,最后才产生一个句子。要通过几个步骤,但是现在在概念上,只要一步就算出来。【注:现在基于神经网络的翻译系统确实比以前好很多了 】。

  为什么会出现端对端呢?我觉得主要是因为神经网络这个模型的优点。神经网络模型是个非常灵活可扩充的模型,随便连一下,然后做后向传递就可以了。大家一开始没有意识到它的厉害,觉得做这个系统得要分几步吧,神经网络只是其中一步,前面和后面还是通过传统方式来做比较安全。后来大家就慢慢意识到,为什么不用神经网络把整个系统打通?那样的话,又省时效果也会更好。自然而然,大家都会思考端对端的思路。我觉得现在基本上端对端的效果,主要体现在整个迭代的速度上,从设计模型到训练,到看到结果,到修改模型这样一个循环的速度会很快,效果也通常会变得更好。人优化参数的时候,可能半小时优化一次,看看结果如何;机器优化参数,可能一秒就优化几百次。所以这个时间的改进是数量级上的改进。

  数据集的获得,现在主要是在网上花钱,人工标注。比如说一张图几块钱的,然后让人去做。就发动群众的力量嘛,看大家有没有空。有空闲着无聊了,就标注两张。这样把力量汇集起来。




评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值