深度好文 | 神经网络的十字路口

本文探讨了深度学习在当前的发展瓶颈,强调距离真正的“智能”还很遥远。预测性编码作为一种可能的大统一理论在神经科学中备受关注。此外,作者指出序列化信息在理解和学习过程中的重要性,并提出了不同于现代神经网络的新框架,强调反馈链接和时间序列处理。文章结尾呼吁更多研究者在神经网络的各个方向上深入探索。
摘要由CSDN通过智能技术生成

2018年以来,“深度学习泡沫破灭”“区块链才是新的风口”这样的言论不绝于耳。客观来看,深度学习确实进入了一段瓶颈期,时常搞大新闻的DeepMind、OpenAI、谷歌大脑等研究机构上半年拿出的东西也乏善可陈。

 

但从个人角度,我还是喜欢这样安静的AI界,我们离强人工智能还很远,在深度学习的理论研究上还处于婴儿阶段,我希望无论是身处其中的研究人员,还是满怀期待的观众都能认清这个现实。

 

深度学习虽火  但距离真正的“智能”还很遥远

距离2012年AlexNet提出引起深度学习的火热已经过去了六年。在这六年里,该领域取得的成果有目共睹:

  • 在架构上,ResNet、Inception、DenseNet等极大拓展了深度学习的特征提取能力;
  • 在提高收敛速度上,Batch Normalization、Group Normalization,还有最近的Switchable Normalization的提出,加快了神经网络的收敛速度;
  • 在网络泛化上,Dropout的提出让我们在加噪声和设计loss函数惩罚项之外又多了个选择;
  • 在强化学习领域,Deep Q Learning和AlphaGo为我们展现了人工智能超越人类的可能;
  • 在应用落地上,计算机视觉和自然语言处理领域诞生了成百上千的创业公司;
  • 在更大的方向上,GAN的诞生,使其成为CNN以后,神经网络领域最有意思的一个分支,当然,与此同时我们还放出了对抗样本这个“幽灵”。

但时至今日,我们对“智能”的定义依然模糊。有人说,像人一样思考的就是智能。但是,人究竟是怎样思考的,我们至今也没有准确的答案。

 

曾经有一段时间,我非常着迷于“意识”这个东西,按照我当时天真的想法,通过生物神经科学领域对意识衡量的启发,来建立一个对人工神经网络“意识”的衡量机制,如果我们可以写出“意识”的损失函数,就能确定我们的模型有没有真的像人一样在思考。很显然,当时的我完全是一个生物神经科学方面的白痴(现在也是)。

 

后来,通过粗略浏览几篇生物神经领域的论文,并跟几位认知神经学方面的博士进行了相关交流,我发现一个很有意思的现象:生物学上对神经科学的研究几乎都是基于行为的。比如,前段时间有篇很火的RNA跟记忆相关的研究,就是观察海兔对电击的反应来论证记忆有可能是存储在RNA中的(一般理论认为,记忆是分布存储于神经元的链接中的)。这儿我们不掺和记忆的存储的问题,尽管这个问

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值