深度学习作业_Week1

  对于注册谷歌硬盘的方法，我在实验过程中并没有遇到中国手机号无法注册的情况，和身边朋友商讨之后得出猜想为：当使用梯子时，电脑ip地址并不在本地，而谷歌注册并不会限制定位非大陆的手机账号，因此可以正常注册。

1.基础练习

    一般定义数据使用torch.Tensor ， tensor的意思是张量，是数字各种形式的总称,创建Tensor有多种方法，包括：ones, zeros, eye, arange, linspace, rand, randn, normal, uniform, randperm

  在python语言中，无论是循环体中从某个集合选取的range方法还是tensor中的arange方法都是左闭右开，即arange（1，5）能选取的范围为1，2，3，4。

     m@v运算表示m和v对应元素相乘求和，该方法要求两个矩阵值类型相同否则会报错：

 

    修改类型后运算可正常进行：

   统计随机数的正态分布图像，当随机数越多时越明显： 

 

 2.螺旋分类练习

  首先导入数据并建立基本参数

   建立算法模型并计算准确率：

   我们可以看到该模型准确率只有50%左右，再加入ReLU激活函数后准确率得到大幅度提升：

 图像对比（分别为加入前后）：

  3.问题总结

   Alex net的优点：

1、在每个卷机后面添加了Relu激活函数，解决了Sigmoid的梯度消失问题，使收敛更快。

2、使用随机丢弃技术（dropout）选择性地忽略训练中的单个神经元，避免模型的过拟合

3、添加了归一化LRN层，使准确率更高。

  激活函数有哪些作用：

1、激活函数的本质作用是加入非线性因素来解决线性模型无法解决的问题。

2、具有归一化的作用，可以使网络的输出在固定范围加快学习。

3、能够过滤掉自己不需要的东西。

  梯度消失现象是什么：

  神经网络在进行反向传播的时候会对参数W进行更新，梯度消失就是靠后面网络层能够得到一个合理的偏导数，但是靠近输入层的网络层，计算的到的偏导数近乎零，W几乎无法得到更新。（连乘小于1的数最终趋于0的过程）

  神经网络更宽好还是更深好：

  神经网络的宽度和深度都各有其作用，深度可以决定网络的非线性表达能力，可以拟合更加复杂的特征，更深的网络可以拟合更加复杂的特征。足够的宽度可以保证每一层都学到丰富的特征，比如不同方向，不同频率的纹理特征。宽度太窄，特征提取不充分，学习不到足够信息，模型性能受限，只有适当的深度和宽度才可以最大程度的发挥神经网络的功能。

  为什么要使用softmax：

  softmax本质是归一化网络，目的是将任何值的vector映射为概率分布，输出在（0，1）范围内。

  SGD 和 Adam 哪个更有效：

二分类问题，数据的分布好计算，更适合SGD，而对于Adam更适合计算复杂分布的数据。