神经网络历史与缺点

历史

人工神经网络诞生于20世纪50年代，那时她叫感知机。

1969年，Marvin Minsky出版的《Perceptrons》将她打入了冷宫。

1974年，暗恋她的Paul Werbos在博士毕业论文中深刻分析了将BP算法运用于神经网络方面的可能性

1986年，BP算法开始流行开来

1989年，燕大侠加入贝尔实验室，他开始将1974年提出的标准反向传播算法应用于深度神经网络，CNN诞生

90年代中期，支持向量机（Support Vector Machines，SVM）强势登场，全方位碾压NN。SVN具有 1）高效，可以快速训练；2）无需调参，没有梯度消失问题；3）高效泛化，全局最优解，不存在过拟合问题，几乎全方位的碾压NN。NN再次被打入冷宫。

2006年，Hinton在《Science》和相关期刊上发表了论文，首次提出了“深度置信网络”的概念。他给多层神经网络相关的学习方法赋予了一个新名词——“深度学习”。

 

NN在算法上并没有创新，NN得以成功利益于在大数据和计算能力

缺点

1、不可解释性

深度学习从原始的输入信息到提取特征到输出信息的过程是一个黑盒子，缺乏可解释性。 

2、大量的数据支撑

深度学习的成果是建立在极其苛刻的前提条件之上，需要大量数据的支撑

例子：走路避免被车撞到

3、数据质量的不稳定

数据质量的不稳定性带来的是：不可靠、不准确、不公平、不安全

3.1 不可靠、不准确：

就拿分词器来说，分词并做词性标注，30个人来对同一句话分词可能就有30种分法。抄写圣经的犹太人，每次抄写到上帝（即God和Lord)时都要先去洗手祈祷，每行文字加起来得到一个特殊数字，每列数字加起来得到一个特殊数学，通过检查两个校验码来确定是否抄写错误。

神经网络中如果输入的数据是不准确的，不完整的，那么结果也会错的离谱，有些时候不仅造成损失，而且还会很尴尬。就比如说 Google图片错把非裔美国人当作了猩猩；而微软曾经试着把一个人工智能放在 Twitter上进行学习，几个小时之后，它就变得充满恶意，满口脏话，带有严重种族歧视。（例子来自参考6）

 

3.2 不公平：

医生偏向男性，护士偏向女性；程序员偏向男性，前台偏向女性

 也许推特上的这个例子有些极端，但不可否认，我们输入的数据本身就存在着某种程度的偏见和歧视，这种带有主观性的，潜移默化的观念或者暗示，有时我们甚至自己都无法察觉。就比如说：word2vec是 google推出的做词嵌入（word embedding）的开源工具，从 Google News里提取了 300万个词。这组数据传递出来的信息包括了「爸爸是医生，妈妈是护士。」这明显就带有性别上的歧视。

这种歧视不仅仅是被原封不动地搬运到了数字世界，而且还会得到放大。如果「医生」这个词更多的指向「男人」而非「女人」，那么算法在面对一份公开的医生职位筛选的时候，它会将男性放在女性前面优先考虑。（例子来自参考6）

 

3.3 不安全：（例子来自参考6）

「生成对抗式网络」（GAN）的发明人 Ian Goodfellow提醒我们：现在的神经网络可以很容易被不轨之徒操纵。他们可以以一种人的肉眼无法识别的方式，篡改图片，让机器错误地辨识这个图片。

 

 

左边的是熊猫（机器的确认度是 57.7%），加上中间的这层图片之后，机器的确认度上升到了 99.3%，认为图片上出现的是长臂猿。

不要小看这样的风险，这种恶意篡改人工智能系统的做法，会带来极大的危害，尤其是被篡改的图片和最初的图片在我们看来完全是一回事。比如说无人自驾驶汽车就会受到威胁。

 

为什么要学习

技术的两面性或者说事物的双面性，比如二战，比如改革开放，比如深度学习

为什么要学习和掌握深度学习，因为一条狗。

 

“2016年1月27日，国际顶尖期刊《自然》封面文章报道，谷歌研究者开发的名为“阿尔法围棋”（AlphaGo）的人工智能机器人，在没有任何让子的情况下，以5:0完胜欧洲围棋冠军、职业二段选手樊麾。在围棋人工智能领域，实现了一次史无前例的突破。计算机程序能在不让子的情况下，在完整的围棋竞技中击败专业选手，这是第一次。

2016年3月9日到15日，阿尔法围棋程序挑战世界围棋冠军李世石的围棋人机大战五番棋在韩国首尔举行。比赛采用中国围棋规则，最终阿尔法围棋以4比1的总比分取得了胜利。

2016年12月29日晚起到2017年1月4日晚，阿尔法围棋在弈城围棋网和野狐围棋网以“Master”为注册名，依次对战数十位人类顶尖围棋高手，取得60胜0负的辉煌战绩。

2017年5月23日到27日，在中国乌镇围棋峰会上，阿尔法围棋以3比0的总比分战胜排名世界第一的世界围棋冠军柯洁。在这次围棋峰会期间的2017年5月26日，阿尔法围棋还战胜了由陈耀烨、唐韦星、周睿羊、时越、芈昱廷五位世界冠军组成的围棋团队。”——来自百度百科

 

转载于:https://www.cnblogs.com/hx78/p/7300408.html