神经网络中的激活函数

  哈喽，各位小伙伴们，大家好。我是杜同学。之前也有在CSDN上培养自己写博客的习惯，但是呢，都没有坚持下来，这次决定痛定思痛，一雪前耻，从今天起再次开始写博客。由于本up研究方向为计算机视觉相关方向，所以以后更的文章大多也都是与深度学习，目标检测相关的，一方面是记录自己的学习历程，一方面希望大家能够多多指教，一起进步！
今天要和大家分享的是神经网络激活函数的概念以及常见激活函数的优缺点。我们都知道激活函数是用于深度学习中的，那么在谈激活函数之前，我想首先谈一下为什么出现深度学习。

一、深度学习的起源

  大家都清楚最近如火如荼的人工智能，它的产生引起了社会各行各业的变革，每个行业都在推“人工智能+”，都希望将自己的行业与人工智能结合起来，促进业务的发展。而人工智能中的一个分支就是机器学习，而机器学习也是人工智能领域的最热门的方向，不仅有很多学者纷纷涌入，而且也产出了大量的成果。人工智能的定义或者目标用一句话总结就是将人的智能延伸到机器身上，那么机器学习作为它的分支，用一句话来说其实就是利用人类各种各样以往的数据，来捕捉其中的规律，对未来进行预测，以实现业务上的需要。机器学习在初期发展迅速，成果颇丰，产生了大量的模型，如著名的回归模型、决策树、随机森林，KNN，KMeans、PCA等等。但是随着时代的发展，数据量越来越大且人们的现实需求也越来越复杂，导致现有的机器模型不能满足人们的需要，人们就向表示学习、深度学习进行迁移。这也是为什么现在的深度学习那么如日中天。
  以目标检测为例。机器学习需要先手动设定提取图片中的关键特征，再用模型去对特征逐个扫描比较，效果差且时间长。而深度学习最强大的优势就是在于不用手动标记特征，模型可以自主进行学习，我们只需要将数据送入模型即可，效果好且速度快。深度学习的发展历史如下：

  差点跑题了，我们今天要讨论的是激活函数。对于表示学习以及深度学习的历史、应用方向、技术等等大家可以看一下这篇论文《Deep Learnning》，作者是号称深度学习的三巨头—Yann LeCun、 Yoshua Bengio、 Geoffrey Hinton，文中对于深度学习讲解的非常详细。大家可以自行下载。