第一次作业：深度学习基础

【第一部分】视频学习心得及问题总结

（1）从专家系统到机器学习

知识工程/专家系统 根据专家定义的知识和经验，进行推理和判断，从而模拟人类专家的决策过程来解决问题，具有以下4个特点：

1.基于手工设计规则建立专家系统

2.结果容易理解

3.系统构建费时费力

4.依赖专家主观静安，难以保证一致性和准确性

机器学习 机器自动训练，具有以下4个特点：

1.基于数据自动学习

2.减少人工繁杂工作，但结果可能不易解释

3.提高信息处理的效率，且准确率较高

4.来源于真实数据，减少人工规则主观性，可信度高

（2）从传统机器学习到深度学习 

传统机器学习：人基于对问题的理解，手动设计特征。学习的过程，是从手动设计的特征到输出这样一个映射。

深度学习：真正有效的特征应该是分层的，深度学习的过程就是从输入到简单特征，再到复杂特征，经过映射得到输出的过程。

（3）深度学习的能与不能

深度学习的“不能”有以下六点：

1.算法输出不稳定，容易被“攻击”

2.模型复杂度高，难以纠错和调试

3.模型层级复合程度高，参数不透明

4.端到端训练方式对数据依赖性强，模型增量性差

5.专注直观感知类问题，对开放性问题推理能力无能为力

6.人类只是无法有效引入进行监督，机器偏见难以避免

（4）浅层神经网络：生物神经元到单层感知器，多层感知器，反向传播和梯度消失

浅层结构算法：当前多数分类、回归等学习方法为浅层结构算法，其局限性在于有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定制约。

（5）深度学习：逐层预训练，自编码器和受限玻尔兹曼机

深度学习：可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示，并展现了强大的从少数样本集中学习数据集本质特征的能力。（多层的好处是可以用较少的参数表示复杂的函数）。深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。

---

 遇到的问题：

1.看网课和实现深度学习之间还差一大段距离，怎样才能快速上手在一些小的项目上实现呢？以及样本该怎么找呢？

2.神经网络中的激活函数具体是什么？为什么ReLu要好过于tanh和sigmoid function?

---

【第二部分】代码练习

1.pytorch基础练习

2.螺旋数据分类

（1）初始化3000个样本的特征

X = torch.zeros(N * C, D).to(device)
Y = torch.zeros(N * C, dtype=torch.long).to(device)
for c in range(C):
    index = 0
    t = torch.linspace(0, 1, N) # 在[0，1]间均匀的取10000个数，赋给t
    # 下面的代码不用理解太多，总之是根据公式计算出三类样本（可以构成螺旋形）
    # torch.randn(N) 是得到 N 个均值为0，方差为 1 的一组随机数，注意要和 rand 区分开
    inner_var = torch.linspace( (2*math.pi/C)*c, (2*math.pi/C)*(2+c), N) + torch.randn(N) * 0.2
    
    # 每个样本的(x,y)坐标都保存在 X 里
    # Y 里存储的是样本的类别，分别为 [0, 1, 2]
    for ix in range(N * c, N * (c + 1)):
        X[ix] = t[index] * torch.FloatTensor((math.sin(inner_var[index]), math.cos(inner_var[index])))
        Y[ix] = c
        index += 1

print("Shapes:")
print("X:", X.size())
print("Y:", Y.size())

 

（2）构建线性模型分类

learning_rate = 1e-3
lambda_l2 = 1e-5

# nn 包用来创建线性模型
# 每一个线性模型都包含 weight 和 bias
model = nn.Sequential(
    nn.Linear(D, H),
    nn.Linear(H, C)
)
model.to(device) # 把模型放到GPU上

# nn 包含多种不同的损失函数，这里使用的是交叉熵（cross entropy loss）损失函数
criterion = torch.nn.CrossEntropyLoss()

# 这里使用 optim 包进行随机梯度下降(stochastic gradient descent)优化
optimizer = torch.optim.SGD(model.parameters(), lr=learning_rate, weight_decay=lambda_l2)

# 开始训练
for t in range(1000):
    # 把数据输入模型，得到预测结果
    y_pred = model(X)
    # 计算损失和准确率
    loss = criterion(y_pred, Y)
    score, predicted = torch.max(y_pred, 1)
    acc = (Y == predicted).sum().float() / len(Y)
    print('[EPOCH]: %i, [LOSS]: %.6f, [ACCURACY]: %.3f' % (t, loss.item(), acc))
    display.clear_output(wait=True)

    # 反向传播前把梯度置 0 
    optimizer.zero_grad()
    # 反向传播优化 
    loss.backward()
    # 更新全部参数
    optimizer.step()

（3） 创建两层神经网络分类

earning_rate = 1e-3
lambda_l2 = 1e-5

# 这里可以看到，和上面模型不同的是，在两层之间加入了一个 ReLU 激活函数
model = nn.Sequential(
    nn.Linear(D, H),
    nn.ReLU(),
    nn.Linear(H, C)
)
model.to(device)

# 下面的代码和之前是完全一样的，这里不过多叙述
criterion = torch.nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate, weight_decay=lambda_l2) # built-in L2

# 训练模型，和之前的代码是完全一样的
for t in range(1000):
    y_pred = model(X)
    loss = criterion(y_pred, Y)
    score, predicted = torch.max(y_pred, 1)
    acc = ((Y == predicted).sum().float() / len(Y))
    print("[EPOCH]: %i, [LOSS]: %.6f, [ACCURACY]: %.3f" % (t, loss.item(), acc))
    display.clear_output(wait=True)
    
    # zero the gradients before running the backward pass.
    optimizer.zero_grad()
    # Backward pass to compute the gradient
    loss.backward()
    # Update params
    optimizer.step()

 

---

实验总结：

对于线性函数而言，ReLU的表达能力更强，尤其体现在深度网络中；而对于非线性函数而言，ReLU由于非负区间的梯度为常数，因此不存在梯度消失问题，使得模型的收敛速度维持在一个稳定状态。