关于深度学习初步认识

想了解深度学习首先要先理解什么为机器学习。

1、什么是机器学习？

对于某类任务（Task，简称T）和某项性能评价准则（Performance，简称P），如果一个计算机程序在T上，以P作为性能的度量，随着很多经验（Experience，简称E）不断自我完善，那么我们称这个计算机程序在从经验E中学习了

2、深度学习初步知识（只提2个部分）

1、感知机部分:

可以看到，一个感知器有如下组成部分：
(1)输入权值 :一个感知器可以接收多个输入，每个输入上有一个权值wi此外还有一个偏置项，就是上图中的w0
(2)激活函数:常见激活函数有Softmax函数，Sigmoid函数，Tanh函数，Relu函数， Leaky ReLU（下面附上散点图代码和图）：
softmax函数：

import numpy as np
import matplotlib.pyplot as plt
import math

def softmax(x):  
      x=np.exp(x)
      y=x/np.sum(x) #函数定义
      return y       
x = np.linspace(-10,10,500)
plt.title('softmax hanshu')
plt.scatter(x,softmax(x),label="softmax") 
plt.legend(loc = 'upper left')  
plt.show()

Sigmoid函数:

// import numpy as np
import matplotlib.pyplot as plt
 
def sigmoid(z):  
    return 1.0 / (1.0 + np.exp(-z))  #函数定义
  

 
x = np.linspace(-10,10,200)
plt.scatter(x,sigmoid(x),label="sigmoid") 

plt.title('sigmoid hanshu')
plt.legend(loc = 'upper left')  
plt.show()

Tanh函数:

import numpy as np
import matplotlib.pyplot as plt
def tanh(x):  
    return np.tanh(x)   #函数定义
x = np.linspace(-10,10,400)
plt.scatter(x,tanh(x),label="tanh") 
plt.title('tanh hanshu')
plt.legend(loc = 'upper left')  
plt.show()

Relu函数:

import numpy as np
import matplotlib.pyplot as plt
 
def RELU(z):  
    return np.array([x if x > 0 else 0 for x in z]) #函数定义

 
x = np.linspace(-10,10,200)
plt.scatter(x,RELU(x),label="RELU") 

plt.title('RELU hanshu')
plt.legend(loc = 'upper left')  
plt.show()

Leaky ReLU函数:

import numpy as np
import matplotlib.pyplot as plt

def LeakyRELU(z,a=0.3):  
   return np.array([x if x > 0 else a * x for x in z]) #函数定义
x = np.linspace(-10,10,200)
plt.scatter(x,LeakyRELU(x),label="LeakyRELU") 
plt.title('Leaky RELU hanshu')
plt.legend(loc = 'upper left')  
plt.show()

（3）输出 感知器的输出由下面这个公式来计算（激活函数定义为f(x)）:
y=f(w*x+b)
2、神经网络：
先提及个体基础：神经元模型
下图是一个典型的神经元模型：包含有3个输入，1个输出，以及2个计算功能。
注意中间的箭头线。这些线称为“连接”。每个上有一个“权值”

神经元和感知器本质上是一样的，只不过我们说感知器的时候，它的激活函数是阶跃函数；而当我们说神经元时，激活函数往往选择为sigmoid函数或tanh函数。

神经网络：

神经网络其实就是按照一定规则连接起来的多个神经元。上图展示了一个全连接的神经网络。们可以发现它的规则包括：
神经元按照层来布局。最左边的层叫做输入层，负责接收输入数据；最右边的层叫输出层，我们可以从这层获取神经网络输出数据。输入层和输出层之间的层叫做隐藏层，因为它们对于外部来说是不可见的。
同一层的神经元之间没有连接。
第N层的每个神经元和第N-1层的所有神经元相连，第N-1层神经元的输出就是第N层神经元的输入。
注意每个连接都有一个权值!!!。

参考资料https://blog.csdn.net/xu2645318400/article/details/77715423
https://blog.csdn.net/zheyanyishhi/article/details/78452596