学习笔记-4-ANN-1-Preliminaries

最新推荐文章于 2024-07-25 22:24:14 发布

Wooden_ZHANG

最新推荐文章于 2024-07-25 22:24:14 发布

阅读量407

点赞数

分类专栏：数据科学文章标签：学习 cnn 神经网络

本文链接：https://blog.csdn.net/shuzhu024/article/details/128213647

版权

数据科学专栏收录该内容

10 篇文章 0 订阅

订阅专栏

细节内容请关注微信公众号：运筹优化与数据科学

ID: pomelo_tree_opt

Outline

1. ANN与SVM

2. ANN的数学基础

3. ANN history

4. Deep neural network

------------------------------

1. ANN与SVM的区别

SVM, SVR中有很多数学推导的过程，

例如primal model, dual model, dual-to-primal conversion, optimality condition等。
ANN或NN中也有很多数学推导，但是这里大部分的数学知识都go beyond大部分人的数学功力了，所以学NN一般不是去推导什么内容，只是知道其中的function是怎么运作的，掌握应用的技巧，会动手实现是关键。

====================

2. ANN的数学基础

ANN的数据基础是一个叫universal approximation的东西

这个universal approximation表现形式上，就是简单的线性的东西，经过非线性的operation，再combinOute起来，就得到了g(x), 用g(x)来近似f(x).

思想上就是，我们不知道f(x)在做什么，可是我可以借由一连串我知道的东西把你表现出来，而且表现得很好，这就是ARR中approximation的思想。

------------------------------

从NN来看，就是f(x)很难，我们都不知道f(x)是什么形式，可是NN却可以经由一连串的连接来近似，而且能够保证效果够好。

Principle: complexity can be embedded in layered simplicity.

Layered simplicity can generate desired complexity.

The intelligence(computational power) of a neural network comes from properly layered neurons.

思想就是复杂的东西，往往嵌套在一层一层的简单东西中。Layered simplicity就是一层一层的简单的东西。Simplicity的东西经过一层一层的组合就能产生complexity.

不管f(x)有多难，我们都可以借由一层一层最简单的线性的东西，经过activation function变成非线性的；这样一层一层去做，就可以做出来一个g(x)，与f(x)相差不大。

另外，NN的功能，computational power或者说intelligence就来自这一层一层的简单的东西堆出来的。这个一层一层的想法很重要。

====================

3. ANN history

1873年Alexander Bain出的书《Mind and Body》
1890年William James出的书《The principle of Psychology》

两个人一起uncovered preliminary theoretical bases of “thoughts and body activities are from interactions of neurons (via electric flows) in the brain”. 尤其是William这个人提出了微电流electric flows的观点。

-------------------------------------

从1890到1898年，1898年，C. S. Sherrington真的验证了脑神经元的交互是通过微电流实现的。
再50年后，1943年Warren McCulloch and Walter Pitts设计了第一个“threshold logic” computation model，就是那个XOR的东西，逻辑运算用的，这是个pioneering的work，用数学建立了一个逻辑网络，用来做判断。
再到1948年，Alan Turing提出把neuron串起来，当作一个machine来用，就是NN的concept，自此很多人开始研究这个东西。

-------------------------------------

1958年，F. Rosenblatt创造了第一个perceptron，感知器，也就是一个artificial neuron. 用数学的模式制造了一个神经元，所以Rosenblatt也被称为“father of neural network”, “father of deep learning”.
1974年，Paul Werbos在他的PhD thesis中第一次提出了“backpropagation”的概念，前面都是在创造人工神经元，这里是提出了学习机制，perceptron的性能得到加强，真正起到学习的作用。从“过去”中学习，吸取教训，refine work. 他的PhD thesis叫做“Beyond regression”，回归之后，怎么加强学习。自此，neural network逐渐成型。

-------------------------------------

1982年，J. J. Hopfield提出了一个经典的ANN结构，” recurrent Hopfield network”.
1986年，D. E. Rumelhart and J. McClelland提出了full exposition on the use of connectionism in computers to simulate neural processes. 这两个人是专门研究connectionism的，也就是连接机制，交互作用。
2006年，G. E. Hinto, S. Osindero, and Y. The proposed a fast learning algorithm for deep belief nets. 这个是在大数据背景下，提出了新的算法，快速学习的算法。

-------------------------------------

总体上来讲，1990s之前，NN就发展的很好了。

2000年以后，有了大数据，computational element之后，NN越来越powerful, 也出现了deep learning的东西。

====================

4. Deep neural network

Deep learning for computer vision, image procession, pattern recognition, approximate reasoning, etc.

像下面这张图，从Pixels到line segments, 再到distinct features的转变，就是卷积convolution operation, 能够抓住feature, 例如两只眼，一个鼻子什么的。

我们人类认知是从feature开始的，很快认识到是只狗。而电脑需要从像素到feature, convolution operation就是专门做这个的。