深度学习
solejay
这个作者很懒,什么都没留下…
展开
-
Colab 使用技巧
GPU 查看和使用# 查看 GPU 显存信息!/opt/bin/nvidia-smi# 查看 gpu 及使用 gpuimport tensorflow as tfprint(tf.test.gpu_device_name())tf.device('/gpu:0')CUDA 版本安装 cuda 9cuda 和 tf 版本对应!cat /usr/local/cuda/version.txt!wget https://developer.nvidia.com/compute/cuda/9原创 2020-09-04 09:51:21 · 318 阅读 · 0 评论 -
Transformer详解
传统 RNN 存在问题处理 Seq2seq 最常用的就是 RNN。RNN 的问题在于无法 Parallel (并行处理),可以用 CNN 解决这个问题,但是 CNN 能够考虑的特征向量非常少,而解决这个问题又需要通过再次叠加 CNN 来解决。为了解决这个问题,引入了 Self-Attention Layer,其输入是一个 sequence 输出也是一个 sequence,能够达到跟 RNN 一样的效果,输出 b 可以并行计算出来。Self-attention 机制其技术最早出现的那篇文章就是 A原创 2020-05-19 16:56:54 · 1706 阅读 · 1 评论 -
吴恩达深度学习课程第五课笔记——序列模型
文章目录第五门课 序列模型 (Sequence Models)第一周 循环序列模型(Recurrent Neural Networks)1.1 为什么选择序列模型?(Why Sequence Models?)1.2 数学符号(Notation)1.3 循环神经网络模型(Recurrent Neural Network Model)1.4 通过时间的反向传播(Backpropagation thro...原创 2020-04-27 20:29:33 · 1964 阅读 · 0 评论 -
吴恩达深度学习课程第三课笔记——结构化机器学习项目
文章目录第三门课 结构化机器学习项目(Structuring Machine Learning Projects)第一周 机器学习(ML)策略(1)(ML strategy(1))1.1 为什么是 ML 策略?(Why ML Strategy?)1.2 正交化(Orthogonalization)1.3 单一数字评估指标(Single number evaluation metric)1.4 满足...原创 2020-04-27 20:27:23 · 667 阅读 · 0 评论 -
李宏毅RNN笔记
文章目录RNNLSTMRNN 的训练RNN 应用RNN对于 Slot Filling 问题,需要识别出句子中的某些特定词,比如我要在十一月二号到台北去,识别出目的地是台北,时间是十一月二号。对词进行编码的方法可以采用 1-of-N encoding 和 word hashing 或者其他高级方法,词语表征成向量后丢到神经网络里判断词属于每个 slot 的概率,比如台北属于目的地的概率和属于时间...原创 2020-04-23 21:07:03 · 369 阅读 · 0 评论 -
吴恩达深度学习第二课笔记——改善深层神经网络:超参数调试、正则化以及优化
文章目录第一周:深度学习的实践层面(Practical aspects of Deep Learning)1.1 训练,验证,测试集(Train / Dev / Test sets)1.2 偏差,方差(Bias /Variance)1.3 机器学习基础(Basic Recipe for Machine Learning)偏差高方差高同时减少方差和偏差1.4 正则化(Regularization)1...原创 2020-04-21 20:16:43 · 5063 阅读 · 0 评论 -
吴恩达深度学习第一课笔记——神经网络和深度学习
文章目录第一周:深度学习引言(Introduction to Deep Learning)1.2 什么是神经网络?(What is a Neural Network)1.4 为什么深度学习会兴起?(Why is Deep Learning taking off?)“Scale drives deep learning progress”1.5 总结第二周:神经网络的编程基础(Basics of N...原创 2020-04-21 20:14:16 · 997 阅读 · 0 评论 -
用 PyTorch 进行深度学习:60 分钟闪电战——02.自动求导
这基本上是 PyTorch 官方指导文档“60 分钟闪电战”的翻译版本,官方原版地址在此AUTOGRAD:自动求导PyTorch 中所有神经网络的核心是 autograd 包。让我们首先简要地访问它,然后我们将去训练我们的第一个神经网络。autograd 包提供 Tensors 上所有操作的自动求导方法。它是一个运行时定义的框架,这意味着你的反向传播是根据你代码运行的方式来定义的,因此...翻译 2019-05-28 20:20:23 · 472 阅读 · 0 评论 -
用 PyTorch 进行深度学习:60 分钟闪电战——01.什么是 PyTorch?
这基本上是 PyTorch 官方指导文档“60 分钟闪电战”的翻译版本,官方原版地址在此什么是 PyTorch?这是一个基于 Python 的科学计算软件包,用于以下两种场景:NumPy 的替代品,可以使用 GPU 的强大功能深入学习研究平台,提供最大的灵活性和速度开始了解张量(Tensors)张量(Tensors)与 NumPy 的 ndarray 类似,除此之外张量(T...翻译 2019-05-27 10:45:43 · 386 阅读 · 0 评论 -
吴恩达卷积神经网络第二周笔记
第二周 深度卷积网络:实例探究2.1 为什么要进行实例探究?别人效果很好的模型应用于自己的工作中很有可能也有很好的效果。多阅读优秀论文可以给自己带来思路和指导。2.2 经典网络模型参数数量卷积层数LeNet6 万5AlexNet6 千万8VGG1 亿 3 千 8 百万16AlexNet 相比 LeNet参数更多使用 Relu...原创 2019-05-27 08:57:22 · 287 阅读 · 0 评论 -
吴恩达卷积神经网络第一周笔记
第一周 卷积神经网络1.1 计算机视觉计算机视觉问题:图片分类、物体检测、神经风格转换图片像素过多,用传统神经网络计算量过大1.2 边缘检测垂直检测6×6 矩阵和 3×3 卷积核进行卷积运算,得到 4*4 矩阵下图卷积核是垂直检测所用卷积核通过该卷积核的卷积运算得到的结果能够成功检测出垂直边缘1.3 更多边缘检测内容左明右暗中间白(正),左暗右明中间黑(负)上明下...原创 2019-05-24 15:54:02 · 300 阅读 · 0 评论