前言：python和tensorflow函数

千里之行始于足下

先认识
为什么要学习神经网路：
人工智能是宽泛概念上的该机计算智能
机器学习是研究人工智能的一个有效手段
深度学习是机器学习的一个分支
深度学习突破了传统机器学习算法的瓶颈，推动了人工智能的发展
而绝大多数深度学习都是通过神经网络来实现的

深度学习的概念来源于对人工神经网路的研究，对隐藏层的神经网络就是一种深度学习结构。深度学习通过低层特征形成抽象的高层来拜哦是属性类别或特征，以发现数据的分布式特征表示。

Lecun等人提出的卷积神经网络是第一个真正多层结构的学习算法，它利用空间相对关系来减少参数数目，以提高训练性能。

卷积神经网络是一种前馈神经网络，它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂的，减少了权值的数量。该优点在网络的输入时多维图像时表现得更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。

循环神经网络的主要用途是处理和预测序列数据，在全连接网络会卷积神经网络模型中，网络结构都是从输入层导隐含层再到输出层，层与层之间是全连接或者部分连接的，但每层之间的节点是无连接的。从网络结构上，循环神经网络会记忆之前的信息，并利用之前的信息影响后面节点的输出。也就是说，循环神经网络隐藏层之间的节点是有连接的，隐藏层的输入不仅包括输入层的输出，还包括上一时刻隐藏层的输出。

Python

python 列表

list  = ['google','rinoob',1997,2000]
print(list[2]) # 1997
print(list[1:]) # ['runboot',1997,2000]

Numpy
创建数组
1.使用numpy.arrange产生数组

import numpy as np
a  = np.arange(10)
print(a) # [0 1 2 3 4 5 6 7 8 9]
print(a[1]) # 1
print(a[ : :-1]) # [9 8 7 6 5 4 3 2 1 0]

2.使用numpy.linspace产生数组

import numpy as np
a = np.linespace(1,5,11)
print(a)
# [0. 0.5 1. 1.5 2. 2.5 3. 3.5 4. 4.5 5.]

改变数组的形状
resize()直接更改原数组，rehsape()返回一个特定形状的数组

b = np.arange(10).reshape(2,5)
print(b) 
# [[0 1 2 3 4]
# [5 6 7 8 9]]
print(b[-1])
# [5 6 7 8 9]

数组堆叠和切片
hstack()实现数组横向堆叠，vstack()实现数组纵向堆叠

In [2]:print(a)
[[0 1 2 3]
[4 5 6 7]
[8 9 10 11]]
In [3]:print(np.split(a,3)) # print(np.vsplit(a,3))
[array([[0, 1, 2, 3]]),array([[4, 5, 6, 7]]),array([[8, 9, 10, 11]])]
In [5]:print(np.hsplit(a,4))
[array([[0],
[4],
[8]]), array([[1],
[5],
[9]]), array([[2],
[6],
[10]]),array([[3],
[7],
[11]])]

Matplotlib
绘制多图轴
subplot(numRows, numCols, plotNum)

tensorflow

激活函数
ReLU函数最主要的好处，是对大于0的所有输入来说，它都有一个不变的导数值。常数导数值有助于网络训练进行得更快。
softmax函数：如果判断输入类属于某一个类的概率大于属于其他类的概率，那么这个类的值就逼近于1，其他类的值就逼近于0。其值为：该元素的的指数与所有元素的指数和的比值。所有比值之和能保证总和为1。
交叉熵损失函数
可以避免梯度消散。
梯度下降法
当步长选取小时，收敛很慢；如果较大，可能会跳过最优点，甚至导致函数值增大。
固定学习率的梯度下降法。