神经网络/深度学习 相关知识

1、避免过拟合的方法：

     正则化，dropout，Batch normalization

 

2、深度学习的四个基础设施：

• 算力
• 数据
• 算法
• 边缘计算的设备

边缘计算

      边缘计算又叫做物计算和终端计算，是与云计算相对应的。云是我们需要把数据上传到云端，再从云端服务器获得响应，云是和我们距离非常远；但是物就在我们身边，我们不需要把数据上传到遥不可及的云端，而是就地在当下解决，不需要联网

 

3、神经棒的作用

不是用来训练的，不是用来做反向传播的，是用来做正向推断的。

就是说我们已经有了一个网络，我们来加速这个网络的正向推断

 

4、常见的神经网络深度学习库

    tensorflow——Google的

    pytorch——facebook的

    caffe——facebook的

    NXNet——亚马逊的

    paddlepaddle——百度的

 

5、感知机

        感知机（perceptron）是二分类的线性分类模型，输入为实例的特征向量，输出为实例的类别（取+1和-1）

 

        激活函数的最基本形式是一个简单的二元方程，这个方程只有两个可能的结果

        尽管看起来如此简单，但该函数有一个非常复杂的名称：Heaviside Step函数。 如果输入为正或零，则此函数返回1;对于任何负输入，此函数返回0。

       使用这样的激活函数的神经元被称为感知机

 

      感知机是神经网络和支持向量机的基础

 

6、Alpha-Go三大法宝

      深度学习、强化学习、蒙特卡洛树搜索