第一周学习：深度学习和pytorch基础
目录
Part 1：视频学习：
1. 绪论：
1.1 人工智能
人工智能：使一部机器像人一样进行感知、认知、决策、执行的人工程序或系统
人工智能的三个层面：计算智能（快速计算、记忆存储；代表：深蓝：暴力穷举）、感知智能（模仿听觉、视觉、触觉等人的感知能力，目前人工智能阶段）、认知智能（逻辑推理、知识理解、决策思考）
人工智能（领域、目标）>机器学习（实现目标的一类方法）>深度学习（机器学习这一类方法中的一小点）
1.2 机器学习与专家系统对比
机器学习两种方向：逻辑演绎vs归纳总结
知识工程/专家系统 vs 机器学习
知识工程/专家系统：根据专家定义的知识和经验，进行推理和判断，从而模拟人类专家的决策过程来解决问题。即需专业人员提前人工定义规则。
机器学习：通过提前标注好的训练样本，由机器自动训练出模型确定某准则，从而通过该准则解决问题。
1.3 机器学习
机器学习的应用领域：计算机视觉、语音技术、自然语言处理
机器学习定义：最常用定义：计算机系统能够利用经验提高自身的性能
可操作定义：机器学习本质是一个基于经验数据的函数估计问题
统计学定义：提取重要模式、趋势，并理解数据，即从数据中学习
是否用机器学习：问题规模是否很大->规则是否复杂->是否有足够的数据->是否有有意义的模式去提取->是否是解析解问题
机器学习三要素：模型、策略、方法（机器学习主要解决前两部分问题）
模型分类：
| 参数模型 | 非参数模型 | |
| 优点 | 数据需求量少、训练迅速 | 对数据适应性强， 可拟合不同的函数形式 |
| 缺点 | 模型复杂度有限， 与真实目标函数拟合度小 | 数据需求大、容易过拟合 |
| 生成模型 | |
| 优点 | 提供更多信息（建模边缘分布->采样生成样本） 样本量大时，更快收敛到真实分布 |
| 缺点 | 数据需求大 预测类问题准确率通常不如判别模型 |
1.4 机器学习、深度学习、神经网络的发展变革
传统机器学习 VS 深度学习
机器学习、深度学习历史：单层感知器算法（无法处理异或问题）-低潮-BP算法-第一次热潮-支持向量机模型-低潮-深度学习-第二次高潮
神经网络结构的发展：
1.5 深度学习的不能
深度学习三要素：大数据、算法、计算力
深度学习的10点挑战：
（1） is data hungry（需要大数据训练）
（2） is shallow & has limited capacity for transfer（较浅且不能充分迁移）
（3） has no natural way to deal with hierarchical structure（没有自然化的能力去处理层次结构）
（4） has struggled with open-ended inference（一直想解决开放式推理问题而不能）
（5） is not sufficiently transparent（不够有效透明，神经网络知识表达是黑箱）
（6） has not been well integrated with prior knowledge（不能很好地将先验知识结合到算法中）
（7） cannot inherently distinguish causation from correlation（无法从本质上区分因果关系和相关性）
（8） presumes a largely stable world, in ways that may be problematic（只依赖于特定的环境假设，而实际可能实时变化）
（9）its answer often cannot be fully trusted（由于是对数据基于概率的逼近拟合，结果不能完全使人信服）
（10）is difficult to engineer with（不能像其他程序一样对内部结构进行实时debug）
深度学习的6点不能
（1）算法输出不稳定，容易被“攻击”（噪声等）
（2）模型复杂度高，难以纠错和调试
（3）模型层级复合度高，参数不透明（感受野、卷积核复合等）
（4）端到端训练方式对数据依赖性强，模型增量性差（当样本数据量小的时候，深度学习无法体现强大拟合能力；不同问题数据不同标注）
（5）专注直观感知类问题，对开放性推理问题无能为力
（6）人类知识无法有效引入进行监督，机器偏见难以避免（数据也有偏见）
联结主义+符号主义
2. 深度学习概述：
2.1 MP神经元及单层感知器
MP神经元结构：
其中输出函数中f为激活函数
激活函数举例：
特点：
M-P神经元的权重预先设置，无法学习；而单层感知器是首个可以学习的人工神经网络。
但单层感知器不能解决最简单的非线性问题即异或问题：
要解决异或问题需通过多个单层感知器构成多层感知器。
2.2 万有逼近定理
（1）如果一个隐层包含足够多的神经元，三层前馈神经网络（输入-隐层-输出）即单隐层神经网络能以任意精度逼近任意预定的连续函数。
（2）当隐层足够宽时，双隐层感知器（输入-隐层1-隐层2-输出）可以逼近任意非连续函数：可以解决任何复杂的分类问题。
原因在于：
对每一层的数学公式y=a(W·x+b)，都完成了一个输入到输出的空间变换，其中：
W·x完成的是升维/降维、放大/缩小及旋转操作，而b完成的是平移操作，二者都是线性转换，而激活函数a则完成的是弯曲操作，实现了非线性转换。
增加节点数：增加维度，即增加线性转换能力。
增加层数：增加激活函数的次数，即增加非线性转换次数。
2.3 多层神经网络
在神经元总数相当的情况下，增加网络深度可以比增加宽度带来更强的网络表示能力：产生更多的线性区域
据上式可知深度和宽度对函数复杂度的贡献是不同的，深度的贡献是指数增长的，而宽度的贡献是线性的。
但当层数过多，反而会出现长时间训练也训练不出的情况，究其原因是因为出现了梯度消失。
为理解出现上述情况的原因，我们首先来了解多层神经网络进行参数学习的过程：
前馈神经网络（以三层为例）：
前一层的输出作为后一层的输入通过线性变化和激活输出，最终获得输出结果y，而y与真实值Y之间存在损失值L。而参数沿负梯度方向更新可以使L下降 ，这也即梯度下降法。
我们定义残差：
则红色部分即反向传播部分，将残差写成与前馈类似的样子，则损失函数在参数方向的偏导也就如下
Sigmoid激活函数的导数为：
很容易落到饱和区内导致该导数非常小，接近于0。
导致在反向传播过程中该梯度变为0，也即梯度消失，导致前面隐层不能得到有效更新。
自编码器，受限玻尔兹曼机
Part 2：代码练习：
1. pytorch基础练习：
PyTorch是一个python库，它主要提供了两个高级功能：1、GPU加速的张量计算 2、构建在反向自动求导系统上的深度神经网络
（1）定义数据：一般定义数据使用torch.Tensor ， tensor的意思是张量，是数字各种形式的总称;
Tensor支持各种各样类型的数据，包括：
torch.float32, torch.float64, torch.float16, torch.uint8, torch.int8, torch.int16, torch.int32, torch.int64
创建Tensor有多种方法，包括：ones(1), zeros(0), eye(单位矩阵), arange, linspace（从start到end，均匀切分成steps份）, rand, randn(标准分布), normal（正态分布）, uniform, randperm（随机排列）
import torch
# 可以是一个数
x = torch.tensor(710)
# 可以是一维数组（向量）
y = torch.tensor([1,2,3,4,5,6])
# 可以是二维数组（矩阵）
z = torch.ones(2,3)
# 可以是任意维度的数组（张量）
m = torch.zeros(2,3,4)
print(x)
print(y)
print(z)
print(m)
（2）定义操作：
凡是用Tensor进行各种运算的，都是Function
最终，还是需要用Tensor来进行计算的，计算无非是
- 基本运算，加减乘除，求幂求余
- 布尔运算，大于小于，最大最小
- 线性运算，矩阵乘法，求模，求行列式
基本运算包括： abs/sqrt/div/exp/fmod/pow ，及一些三角函数 cos/ sin/ asin/ atan2/ cosh，及 ceil/round/floor/trunc 等
布尔运算包括： gt/lt/ge/le/eq/ne，topk, sort, max/min
线性计算包括： trace, diag, mm/bmm，t，dot/cross，inverse，svd 等
import torch
from matplotlib import pyplot as plt
plt.hist(torch.randn(100).numpy(), 100);
import torch
from matplotlib import pyplot as plt
plt.hist(torch.randn(10**9).numpy(), 100);
2. 螺旋数据分类：
尝试解决螺旋分类 sprial classification 问题：
先初始化数据并可视化出来：
X 可以理解为特征矩阵，Y可以理解为样本标签。 结合代码可以看到，X的为一个 NxC 行， D 列的矩阵。C 类样本，每类样本是 N个，所以是 N*C 行。每个样本的特征维度是2，所以是 2列。
在 python 中，调用 zeros 类似的函数，第一个参数是 y方向的，即矩阵的行；第二个参数是 x方向的，即矩阵的列
!wget https://raw.githubusercontent.com/Atcold/pytorch-Deep-Learning/master/res/plot_lib.py
import random
import torch
from torch import nn, optim
import math
from IPython import display
from plot_lib import plot_data, plot_model, set_default
# 因为colab是支持GPU的，torch 将在 GPU 上运行
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
print('device: ', device)
# 初始化随机数种子。神经网络的参数都是随机初始化的，
# 不同的初始化参数往往会导致不同的结果，当得到比较好的结果时我们通常希望这个结果是可以复现的，
# 因此，在pytorch中，通过设置随机数种子也可以达到这个目的
seed = 12345
random.seed(seed)
torch.manual_seed(seed)
N = 1000 # 每类样本的数量
D = 2 # 每个样本的特征维度
C = 3 # 样本的类别
H = 100 # 神经网络里隐层单元的数量
X = torch.zeros(N * C, D).to(device)
Y = torch.zeros(N * C, dtype=torch.long).to(device)
for c in range(C):
index = 0
t = torch.linspace(0, 1, N) # 在[0，1]间均匀的取10000个数，赋给t
# 下面的代码不用理解太多，总之是根据公式计算出三类样本（可以构成螺旋形）
# torch.randn(N) 是得到 N 个均值为0，方差为 1 的一组随机数，注意要和 rand 区分开
inner_var = torch.linspace( (2*math.pi/C)*c, (2*math.pi/C)*(2+c), N) + torch.randn(N) * 0.2
# 每个样本的(x,y)坐标都保存在 X 里
# Y 里存储的是样本的类别，分别为 [0, 1, 2]
for ix in range(N * c, N * (c + 1)):
X[ix] = t[index] * torch.FloatTensor((math.sin(inner_var[index]), math.cos(inner_var[index])))
Y[ix] = c
index += 1
print("Shapes:")
print("X:", X.size())
print("Y:", Y.size())
plot_data(X, Y)
分别构建线性模型和两层神经网络进行分类：
1、线性模型：
learning_rate = 1e-3
lambda_l2 = 1e-5
# nn 包用来创建线性模型
# 每一个线性模型都包含 weight 和 bias
model = nn.Sequential(
nn.Linear(D, H),
nn.Linear(H, C)
)
model.to(device) # 把模型放到GPU上
# nn 包含多种不同的损失函数，这里使用的是交叉熵（cross entropy loss）损失函数
criterion = torch.nn.CrossEntropyLoss()
# 这里使用 optim 包进行随机梯度下降(stochastic gradient descent)优化
optimizer = torch.optim.SGD(model.parameters(), lr=learning_rate, weight_decay=lambda_l2)
# 开始训练
for t in range(1000):
# 把数据输入模型，得到预测结果
y_pred = model(X)
# 计算损失和准确率
loss = criterion(y_pred, Y)
score, predicted = torch.max(y_pred, 1)
acc = (Y == predicted).sum().float() / len(Y)
print('[EPOCH]: %i, [LOSS]: %.6f, [ACCURACY]: %.3f' % (t, loss.item(), acc))
display.clear_output(wait=True)
# 反向传播前把梯度置 0
optimizer.zero_grad()
# 反向传播优化
loss.backward()
# 更新全部参数
optimizer.step()
print(y_pred.shape)
print(y_pred[10, :])
print(score[10])
print(predicted[10])
# Plot trained model
print(model)
plot_model(X, Y, model)
上面使用 print(model) 把模型输出，可以看到有两层：
- 第一层输入为 2（因为特征维度为主2），输出为 100；
- 第二层输入为 100 （上一层的输出），输出为 3（类别数）
线性模型很难对非线性数据分布问题分类。
2、两层神经网络：
learning_rate = 1e-3
lambda_l2 = 1e-5
# 这里可以看到，和上面模型不同的是，在两层之间加入了一个 ReLU 激活函数
model = nn.Sequential(
nn.Linear(D, H),
nn.ReLU(),
nn.Linear(H, C)
)
model.to(device)
# 下面的代码和之前是完全一样的，这里不过多叙述
criterion = torch.nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate, weight_decay=lambda_l2) # built-in L2
# 训练模型，和之前的代码是完全一样的
for t in range(1000):
y_pred = model(X)
loss = criterion(y_pred, Y)
score, predicted = torch.max(y_pred, 1)
acc = ((Y == predicted).sum().float() / len(Y))
print("[EPOCH]: %i, [LOSS]: %.6f, [ACCURACY]: %.3f" % (t, loss.item(), acc))
display.clear_output(wait=True)
# zero the gradients before running the backward pass.
optimizer.zero_grad()
# Backward pass to compute the gradient
loss.backward()
# Update params
optimizer.step()
# Plot trained model
print(model)
plot_model(X, Y, model)
可以看到在两层神经网络里加入 ReLU 激活函数以后，分类的准确率得到了显著提高。
主要是激活函数提供了非线性变换。
改变激活函数：
（1）使用sigmoid函数，输出结果：
（2）使用Tanh函数：
（3）使用LeakyReLU函数：
ReLU、Sigmoid、Tanh、LeakyReLU准确率分别为：92.6%、51.9%、85.1%和95.9， LeakyReLU准确率最高。
Part3 遇到的问题
1、创建tensor时，虽然torch.Tensor也能通torch.tensor一样创建，但是两者创建的数据类型不同：
import torch
x = torch.Tensor([1,2,3])
print(x)
print(x.dtype)
y = torch.tensor([1,2,3])
print(y)
print(y.dtype)输出为：
原因查得：首先torch.Tensor()是类，而torch.tensor()是函数，其次，torch.Tensor()会将数组转化为tensor默认的类型。
另外查得还有torch.from_numpy()，torch.as_tensor()的创建tensor形式，且如果用数组赋值给tensor的话，这两种创建方式与原数组共享内存，更为节省。但torch.as_tensor()既能接受numpy数组，也能接收list，而torch.from_numpy()只能接收numpy数组。
2、在进行每一次的反向传播前要进行梯度清零。
知乎上说是因为梯度在计算时会进行累加，从而扩大batchsize，降低显存的使用要求。这里不是很明白
3、Sigmoid因为导数存在饱和区所以在多层神经网络中随着层数增多，准确率会降低，但是这次进行螺旋分类的为两层神经网络，为何Sigmoid表现这么差呢？
1193
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
