深度学习之路
文章平均质量分 73
爱写代码的ALex
这个作者很懒,什么都没留下…
展开
-
C8_Pytorch生态简介
总结:我们会逐步介绍PyTorch生态在图像、视频、文本等领域中的发展,针对某个领域我们选择其中有代表性的一个工具包进行详细介绍,主要包括工具包的作者或其所在机构、数据预处理工具(这块可能再引入第三方工具包)、数据扩增、常用模型结构的预定义、预训练模型权重、常用损失函数、常用评测指标、封装好的训练&测试模块,以及可视化工具。这些内容也是我们在使用对应工具包时会用到的。8.2torchvision对我比较重要...原创 2022-03-20 17:17:44 · 2828 阅读 · 0 评论 -
C7_PyTorch可视化
总结:我暂时只学了DNN与CNN,对于RESNET、VGG完全不了解,不过发现torch库十分强大,可视化的结果如下//我的重心还是回到C2 PyTorch基础知识和C4 实战上,学完后,该文还会更新。目录:7.1 可视化网络结构7.2 CNN卷积层可视化7.3 使用TensorBoard可视化训练过程# 7.1 torchinfo可视化网络结构# 安装方法一# !pip install torchinfo import torchvision.models as modelsfrom原创 2022-03-20 16:19:22 · 3052 阅读 · 0 评论 -
基础实战——FashionMNIST时装分类
第四章 基础实战——FashionMNIST时装分类经过前面三章内容的学习,我们完成了以下的内容:对PyTorch有了初步的认识学会了如何安装PyTorch以及对应的编程环境学习了PyTorch最核心的理论基础(张量&自动求导)梳理了利用PyTorch完成深度学习的主要步骤和对应实现方式现在,我们通过一个基础实战案例,将第一部分所涉及的PyTorch入门知识串起来,便于大家加深理解。同时为后续的进阶学习打好基础。我们这里的任务是对10个类别的“时装”图像进行分类,使用Fashio原创 2022-03-20 16:08:42 · 3025 阅读 · 0 评论 -
C6 Torch进阶训练技巧
总结:今天队伍的进度是第六章 PyTorch进阶训练技巧,主要内容见后,但因为我没打好Pytorch基础,所以我学习了 第二章Pytorch基础知识,同见后。6.1自定义损失函数PyTorch在torch.nn模块为我们提供了许多常用的损失函数,比如:MSELoss,L1Loss,BCELoss… 但是随着深度学习的发展,出现了越来越多的非官方提供的Loss,比如DiceLoss,HuberLoss,SobolevLoss… 这些Loss Function专门针对一些非通用的模型,PyTorch不能将他原创 2022-03-19 23:21:04 · 1269 阅读 · 0 评论 -
C5_PyTorch模型定义
之前没有学pytorch框架1-4课, 所以第一课学得很难受完成了pytorch的配置,可以选择kaggle云服务,很amazing。今天太晚了,明晚前更新链接原创 2022-03-16 23:44:13 · 157 阅读 · 0 评论 -
1.16李宏毅深度学习
深度学习的发展趋势深度学习的三个步骤:Step1:神经网络完全连接前馈神经网络全链接和前馈的理解深度的理解矩阵计算本质:通过隐藏层进行特征转换通过特征提取替代特征方程示例:手写数字识别Step2:模型评估损失示例总体损失:用gradient desent找到总体损失Step3:选择最优函数反向传播思考:隐藏层越多越好?普遍性定理...原创 2022-01-16 22:08:46 · 398 阅读 · 0 评论 -
李宏毅深度学习笔记
原创 2022-01-14 23:44:15 · 268 阅读 · 0 评论 -
李宏毅深度学习基础
一句话:神经网络基本形式是线性加权与非线性变换,即y=h(b+w1x1+w2x2)。线性加权即b+w1x1+w2x2非线性变换:h()是激活函数文章目录回归定义和应用例子回归定义应用举例模型步骤Step 1:模型假设 - 线性模型一元线性模型(单个特征)多元线性模型(多个特征)Step 2:模型评估 - 损失函数如何判断众多模型的好坏(损失函数)Step 3:最佳模型 - 梯度下降如何筛选最优的模型(参数w,b)梯度下降推演最优模型的过程梯度下降算法在现实世界中面临的挑战w和b偏微分的计算方法如何验原创 2022-01-12 21:50:18 · 722 阅读 · 0 评论 -
深度学习李宏毅21春_12_Transformer_P1
Transformer_P1_Encoder变形金刚的英文就是Transformer,那Transformer也跟我们之后会,提到的BERT有非常强烈的关係,所以这边有一个BERT探出头来,代表说Transformer跟BERT,是很有关係的Sequence-to-sequence (Seq2seq)Transformer就是一个,Sequence-to-sequence的model,他的缩写,我们会写做Seq2seq,那Sequence-to-sequence的model,又是什麼呢我们之前在讲转载 2022-01-12 17:23:39 · 120 阅读 · 0 评论 -
深度学习李宏毅21春_19_BERT_P2
BERT P2_Fun Facts about BERTWhy does BERT work?“为什么BERT有用?”最常见的解释是,当输入一串文本时,每个文本都有一个对应的向量。对于这个向量,我们称之为embedding。它的特别之处在于,这些向量代表了输入词的含义。例如,模型输入 “台湾大学”(国立台湾大学),输出4个向量。这4个向量分别代表 “台”、“湾”、"大 "和 “学”更具体地说,如果你把这些词所对应的向量画出来,或者计算它们之间的距离你会发现,意思比较相似的词,它们的向量比较接转载 2022-01-12 17:22:38 · 182 阅读 · 0 评论 -
深度学习李宏毅21春_20_BERT_P3
BERT P3_GPT3除了BERT以外,还有下一个,也是鼎鼎有名的模型,就是GPT系列的模型BERT做的是填空题,GPT就是改一下我们现在在,self-supervised learning的时候,要模型做的任务Predict Next TokenGPT要做的任务是,预测接下来,会出现的token是什麼举例来说,假设你的训练资料裡面,有一个句子是台湾大学,那GPT拿到这一笔训练资料的时候,它做的事情是这样你给它BOS这个token,然后GPT output一个embedding,然后接下来,转载 2022-01-12 17:21:49 · 162 阅读 · 0 评论 -
深度学习李宏毅21春_18_BERT_P1
BERT 简介Self-supervised Learning每个人都应该熟悉监督学习,当我们做监督学习时,我们只有一个模型,这个模型的输入是x,输出是y。假设你今天想做情感分析,你就是让机器阅读一篇文章,而机器需要对这篇文章进行分类,是正面的还是负面的,你必须先找到大量的文章,你需要对所有的文章进行label。我们需要有标签和文章数据来训练监督模型"Self-supervised "是用另一种方式来监督,没有标签。假设我们只有一堆没有label的文章,但我们试图找到一种方法把它分成两部分转载 2022-01-12 17:20:58 · 124 阅读 · 0 评论