2.深度学习之pytorch基础

2.1 PyTorch介绍

  • Pytorch是一个深度学习框架(类似于TensorFlow),由Facebook的人工智能研究小组开发。与Keras一样,它也抽象出了深层网络编程的许多混乱部分。
  • 就高级和低级代码风格而言,Pytorch介于Keras和TensorFlow之间。比起Keras具有更大的灵活性和控制能力,但同时又不必进行任何复杂的声明式编程(declarative programming)。
    • 考虑方面
    • 定义模型的类与函数
    • 继承来自Torch库的torch.nn.Module的类
    • 张量和计算图模型与标准数组的比较
    • 只需要知道每个层的输入和输出大小
    • 训练模型

2.2 环境配置

2.2.1 Anaconda

  • Anaconda是Python的一个开源发行版本,主要面向科学计算。
    • Anaconda预装了很多我们用的到或用不到的第三方库的Python
    • 而且相比于大家熟悉的pip install命令,Anaconda中增加了conda install命令。
  • 操作
    • 根据操作系统下载并安装Anaconda
    • Anaconda安装成功之后,建议修改其包管理镜像为国内源
    • 比如,https://pypi.tuna.tsinghua.edu.cn/simple

2.2.2 Jupyter

  • 打开notebook
    • 在浏览器打开 http://localhost:8888 (通常会自动打开)位于当前目录的jupyter 服务
  • 使用notebook,可以直接在代码旁写出叙述性文档,而不是另外编写单独的文档。

2.2.3 PyTorch

  • 课程需要用到PyTorch框架
    • pip install torch==1.5.0
  • 直接去PyTorch官网找到自己的软硬件对应的安装命令即可。
    • https://pytorch.org/

2.3 数据操作

  • 在深度学习中,通常会频繁地对数据进行操作。
  • 在PyTorch中,torch.Tensor是存储和变换数据的主要工具。
    • 如果之前用过NumPy,会发现Tensor和NumPy的多维数组非常类似。
    • 然而,Tensor提供GPU计算和自动求梯度等更多功能,这些使Tensor更加适合深度学习。
  • "tensor"这个单词一般可译作“张量”,张量可以看作是一个多维数组。
  • 标量可以看作是0维张量,向量可以看作1维张量,矩阵可以看作是二维张量。
  • 下列这些创建方法都可以在创建的时候指定数据类型dtype和存放device(cpu/gpu)
  • 索引
    • 还可以使用类似NumPy的索引操作来访问Tensor的一部分。
    • 需要注意的是:索引出来的结果与原数据共享内存,也即修改一个,另一个会跟着修改。
  • 改变形状
    • 用view()来改变Tensor的形状:
      • 注意view()返回的新Tensor与源Tensor虽然可能有不同的size,但是是共享data的,也即更改其中的一个,另外一个也会跟着改变。
        • view仅仅是改变了对这个张量的观察角度,内部数据并未改变
    • 所以如果想返回一个真正新的副本(即不共享data内存)该怎么办呢?
      • Pytorch还提供了一个reshape()可以改变形状,但是此函数并不能保证返回的是其拷贝,所以不推荐使用。
      • 推荐先用clone创造一个副本然后再使用view。
        • 使用clone还有一个好处是会被记录在计算图中,即梯度回传到副本时也会传到源Tensor。
      • 另外一个常用的函数就是item(), 它可以将一个标量Tensor转换成一个Python number
  • 线性代数
    • PyTorch还支持一些线性函数
      • PyTorch中的Tensor支持超过一百种操作,包括转置、索引、切片、数学运算、线性代数、随机数等等。
  • 广播机制
    • 前面看到如何对两个形状相同的Tensor做按元素运算。
    • 当对两个形状不同的Tensor按元素运算时,可能会触发广播(broadcasting)机制:先适当复制元素使这两个Tensor形状相同后再按元素运算。
  • 运算的内存开销
    • 索引操作是不会开辟新内存的,而像y = x + y这样的运算是会新开内存的,然后将y指向新内存。
      • 如果想指定结果到原来的y的内存,可以使用前面介绍的索引来进行替换操作。
    • 还可以使用运算符全名函数中的out参数或者自加运算符+=(也即add_())达到上述效果。
      • 注:虽然view返回的Tensor与源Tensor是共享data的,但是依然是一个新的Tensor(因为Tensor除了包含data外还有一些其他属性),二者id(内存地址)并不一致。
  • Tensor和NumPy相互转换
    • 用numpy()和from_numpy()将Tensor和NumPy中的数组相互转换。
      • 但是需要注意的一点是: 这两个函数所产生的的Tensor和NumPy中的数组共享相同的内存
    • 所有在CPU上的Tensor(除了CharTensor)都支持与NumPy数组相互转换。
    • 还有一个常用的将NumPy中的array转换成Tensor的方法就是torch.tensor()。
      • 需要注意的是,此方法总是会进行数据拷贝(就会消耗更多的时间和空间),所以返回的Tensor和原来的数据不再共享内存。
  • Tensor on GPU
    • 用方法to()可以将Tensor在CPU和GPU(需要硬件支持)之间相互移动。

2.4 梯度下降

  • 梯度下降是机器学习中常见优化算法之一,梯度下降法有以下几个作用:
    • 在求解机器学习算法的模型参数,即无约束优化问题时,主要有梯度下降法(Gradient Descent)和最小二乘法。
    • 在求解损失函数的最小值时,可以通过梯度下降法来一步步的迭代求解,得到最小化的损失函数和模型参数值。
    • 如果我们需要求解损失函数的最大值,可通过梯度上升法来迭代。
    • 梯度下降法主要有随机梯度下降法和批量梯度下降法。

2.4.1 梯度下降核心思想

  • 初始化参数,随机选取取值范围内的任意数;
  • 迭代操作:
    • 计算当前梯度;
    • 修改新的变量;
    • 计算朝最陡的下坡方向走一步;
    • 判断是否需要终止,如否,返回a
  • 得到全局最优解或者接近全局最优解

2.4.2 随机梯度和批量梯度

  • 小批量梯度下降

2.4.3 自动求梯度概念

  • Tensor是这个包的核心类,如果将其属性.requires_grad设置为True,它将开始追踪(track)在其上的所有操作。
    • 完成计算后,可以调用.backward()来完成所有梯度计算。
    • 此Tensor的梯度将累积到.grad属性中。
      • 注意在y.backward()时,如果y是标量,则不需要为backward()传入任何参数;否则,需要传入一个与y同形的Tensor。
  • 如果不想要被继续追踪,可以调用.detach()将其从追踪记录中分离出来,这样就可以防止将来的计算被追踪,这样梯度就传不过去了。
    • 还可以用with torch.no_grad()将不想被追踪的操作代码块包裹起来
  • Function是另外一个很重要的类。
    • Tensor和Function互相结合就可以构建一个记录有整个计算过程的有向无环图(DAG)。
    • 每个Tensor都有一个.grad_fn属性,该属性即创建该Tensor的Function, 就是说该Tensor是不是通过某些运算得到的,若是,则grad_fn返回一个与这些运算相关的对象,否则是None。

2.4.4 梯度

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值