深度学习处理器

深度学习处理器

人工智能的算法主要的智能方法

• 符号主义
• 行为主义
• 连接主义

1）符号主义
符号主义所面临的问题：

• 找不到一种逻辑去将所有的知识都表示出来，
• 由已知的知识去推导新的知识，时间复杂度太大。

2）行为主义
行为主义所面临的问题：

• 拟人的小脑可能实现，但是无法模拟人的大脑

3）连接主义
神经网络算法模拟1000亿神经元和100万亿的突触

生物的神经元和人工神经网络里的神经元有什么区别吗？

相当于老鼠和米老鼠的区别：即生物中的神经元是老鼠，人工神经网络里的神经元是米老鼠，在弱化了一些老鼠的结构，比如其生理结构，只是选取其功能性或者特征量，并且根据人的需要，增加了一些原本所不具备的特征量。

最简单的人工神经网络x1 w1，x2 w2,xi wi ->激活函数（包含一个阈值）.

深度学习
逐层对信息进行分类和加工

• 成果：语音识别，图像识别，人脸识别，自然语言处理，deep mind(alpha go)

deepmind提出的：深度学习+加强学习deepmind和openvi：利用深度学习打刀塔

为什么要用专用的深度学习处理器?
深度学习是智能处理迄今最好的方面,通用CPU和GPU处理人工神经网络的时候效率低下

GPU：图形处理需要，
DSP：信号处理智能处理
?->寒武纪：生物大爆发的时代单核GPU多核GPU

通用学习的深度学习处理器cambricon

如何使用深度学习处理器芯片高效处理海量的，不断演进的深度学习算法？算法的更新是一直进行的，而芯片的开发是长时间的。

现存的三大矛盾
1.有限规模的硬件怎么处理任意规模的算法（芯片是无法做到任意规模的）
2.机构固定的硬件是怎么处理千变万化的算法
3.能耗受限的硬件是怎么处理精度优先的算法（做硬件一定由能耗要求)
深度学习指令集

主要运算：

• 向量内积
• 向量距离
• 计数
• 非线性函数
• 排序

数据局部性特征三个柱子

作用：就算算法有更新，只需要利用指令集将其组合起来就行了。

机器学习算法：朴素贝叶斯有共性的指令集的运算指令。

稀疏神经网络处理器的结构

学术思想
利用神经网络对于计算机误差的容忍能力，进行稀疏化神经网络处理，在有限能耗下实现高精度的只能处理。

解决第三点关于能耗硬件和算法精度的矛盾问题：对于误差是由容忍你能力的，对于运算上很多都可以简化为0，所以有一些为0的，现在的计算机都是冯诺依曼结构，分形冯诺依曼结构，分形理论，通用的体系结构和体系架构。但是如果是体系中参数散布的0的话处理起来仍然不方便，需要将其中的一块集结都为0，才方便省去大量的计算。