2018年以来,“深度学习泡沫破灭”“区块链才是新的风口”这样的言论不绝于耳。客观来看,深度学习确实进入了一段瓶颈期,时常搞大新闻的DeepMind、OpenAI、谷歌大脑等研究机构上半年拿出的东西也乏善可陈。
但从个人角度,我还是喜欢这样安静的AI界,我们离强人工智能还很远,在深度学习的理论研究上还处于婴儿阶段,我希望无论是身处其中的研究人员,还是满怀期待的观众都能认清这个现实。
深度学习虽火 但距离真正的“智能”还很遥远
距离2012年AlexNet提出引起深度学习的火热已经过去了六年。在这六年里,该领域取得的成果有目共睹:
- 在架构上,ResNet、Inception、DenseNet等极大拓展了深度学习的特征提取能力;
- 在提高收敛速度上,Batch Normalization、Group Normalization,还有最近的Switchable Normalization的提出,加快了神经网络的收敛速度;
- 在网络泛化上,Dropout的提出让我们在加噪声和设计loss函数惩罚项之外又多了个选择;
- 在强化学习领域,Deep Q Learning和AlphaGo为我们展现了人工智能超越人类的可能;
- 在应用落地上,计算机视觉和自然语言处理领域诞生了成百上千的创业公司;
- 在更大的方向上,GAN的诞生,使其成为CNN以后,神经网络领域最有意思的一个分支,当然,与此同时我们还放出了对抗样本这个“幽灵”。
但时至今日,我们对“智能”的定义依然模糊。有人说,像人一样思考的就是智能。但是,人究竟是怎样思考的,我们至今也没有准确的答案。
曾经有一段时间,我非常着迷于“意识”这个东西,按照我当时天真的想法,通过生物神经科学领域对意识衡量的启发,来建立一个对人工神经网络“意识”的衡量机制,如果我们可以写出“意识”的损失函数,就能确定我们的模型有没有真的像人一样在思考。很显然,当时的我完全是一个生物神经科学方面的白痴(现在也是)。
后来,通过粗略浏览几篇生物神经领域的论文,并跟几位认知神经学方面的博士进行了相关交流,我发现一个很有意思的现象:生物学上对神经科学的研究几乎都是基于行为的。比如,前段时间有篇很火的RNA跟记忆相关的研究,就是观察海兔对电击的反应来论证记忆有可能是存储在RNA中的(一般理论认为,记忆是分布存储于神经元的链接中的)。这儿我们不掺和记忆的存储的问题,尽管这个问