PyTorch学习笔记1
1. 深度学习模型入门回顾
基本模型构成分为三部分:Modeling,Inference,Learning
其中:infetence:solve argmax;
modeling:define score function;
learning:choose w.
关系描述为:
2. 那么,什么是深度学习?
下面是一个简单的单层神经网络的例子:
激活函数为sigmoid:
看一个神经网络的例子:
具体描述为:
3.下面看一些经常用到的激活函数:
4.一些神经网络模型
4.1 前向神经网络
基本模型描述如下:
4.2 卷积神经网络(Convolutional NN)
基本模型描述如下:
4.3 循环神经网络(Recurrent Neural Networks)
4.4 Seq2Seq with Attention
5.深度学习模型框架概述:
其中,PyTorch与其他框架的区别在于:
PyTorch: 动态计算图 Dynamic Computation Graph
Tensorflow: 静态计算图 Static Computation Graph
PyTorch代码通俗易懂,非常接近Python原生代码,不会让人感觉是完全在学习一门新的语言。
拥有Facebook支持,社区活跃。
6. 那么,PyTorch可以用来做什么?
举例说明
6.1 图像分类ResNet
6.2 目标检测(Object Detection)
6.3 图像风格转换(Image Style Transfer)
6.4 CycleGAN
6.5 图片描述(Image Captioning)
6.6 在自然语言处理方面的应用
6.6.1 情感分析
6.6.2 问答
6.6.3 翻译(Translation: OpenNMT-py)
6.6.4 ChatBot
预训练语言模型GPT2