动手学深度学习——学习笔记（Task2）

最新推荐文章于 2024-01-11 17:07:21 发布
最新推荐文章于 2024-01-11 17:07:21 发布
阅读量157 收藏
点赞数
文章标签： 神经网络 机器学习 pytorch 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44915960/article/details/104316762
版权

文本预处理

文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤： 读入文本； 分词； 建立字典；将每个词映射到一个唯一的索引（index） 将文本从词的序列转换为索引的序列，方便输入模型。

读入文本

在这里插入图片描述

分词

在这里插入图片描述

建立字典

在这里插入图片描述

将词转化为索引

在这里插入图片描述

语言模型

在这里插入图片描述

语言模型的计算

在这里插入图片描述

n元语法

在这里插入图片描述

时序数据采样

在这里插入图片描述

随机采样

在这里插入图片描述

相邻采样

在这里插入图片描述

总结

N元语法是基于n − 1阶马尔可夫链的概率语法模型，其中n权衡了计算复杂度和模型准性。

循环神经网络基础RNN

网络结构

在这里插入图片描述

数学表达式

可以与多层感知机的表达式作比较
在这里插入图片描述在这里插入图片描述

代码实现

在这里插入图片描述

总结

使用循环计算的网络即循环神经网络，循环神经网络的隐藏状态可以捕捉截止当前时间步的序列的历史信息，循环神经网络模型参数的数量不随时间步的增加而增加。

轻沉
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
《动手学深度学习》——笔记2
01-20
Tsak2 机器翻译，Seq2Seq， Transformer Task3 卷积神经网络基础和进阶，leNet 过拟合与欠拟合 过拟合：泛化误差高于训练误差，原因是模型过于复杂或者训练数据集比较小。当模型过于复杂时，可以简化模型参数或者...
《动手学习深度学习》笔记
WayHoo
11-27 584
1. 深度学习简介 1.1 起源 时至今日，绝大多数神经网络都包含以下的核心原则： 交替使用线性处理单元与非线性处理单元，它们经常被称为“层”。 使用链式法则（即反向传播）来更新网络的参数。 2. 预备知识 2.1 获取和运行本书代码（Windows环境） 安装Anaconda3 pip配置清华镜像源 下载包含本书全部代码的压缩包，解压后在目录下打开cmd执行conda env create -f environment.yml # To activate this environment, use
《动手学深度学习》学习笔记
最新发布
欢迎来到槐月初叁的博客
01-11 1246
本文首先介绍了深度学习的基础知识，包括线性回归、多层感知机、卷积神经网络、循环神经网络的基本原理，在其基础上讲解网络优化算法进一步优化网络和自定义网络实现自己的网络。然后介绍深度学习的应用，具体包括单发多框目标检测、语义分割、风格迁移、中英文翻译系统。最后总结我对本课程学习的心得体会和建议。
动手学习深度学习笔记
u012678323的专栏
04-06 774
阅读指南 第一部分（第1章至第3章）涵盖预备工作和基础知识。第1章介绍深度学习的背景。第2章提供动手学深度学习所需要的预备知识。第3章包括深度学习最基础的概念和技术，如多层感知机和模型正则化。如果读者时间有限，并且只想了解深度学习最基础的概念和技术，那么只需阅读第一部分。 第二部分（第4章至第6章）关注现代深度学习技术。第4章描述深度学习计算的各个重要组成部分，并为实现后续更复杂的模型打下基础。第5章解释近年来令深度学习在计算机视觉领域大获成功的卷积神经网络。第6章阐述近年来常用于处理序列数据的循环神经网
动手学深度学习-学习笔记（一）
sueichen的博客
02-13 558
写在前面 动手学习深度学习的学习笔记是在新冠疫情期间参加了深度学习公益训练营的打卡笔记合集，虽然是训练营的基本要求，但是作为对所学内容的总结与提炼还是很有帮助的。 本文主要内容：线性回归，softmax分类模型与多层感知机 一、线性回归 线性回归输出是一个连续值，因此适用于回归问题。回归问题在实际中很常见，如预测房屋价格、气温、销售额等连续值的问题。回归问题解决的是连续函数...
【李沐】动手学深度学习 学习笔记
chenxiaowai_的博客
03-21 8773
你好！这是【李沐】动手学深度学习v2-基于pytorch版本的学习笔记教材源代码安装教程（安装pytorch不要用pip，改成conda，pip太慢了，下载不下来）个人推荐学习学习笔记本节代码文件在源代码文件的chapter_deep-learning-computation/custom-layer.ipynb中不带参数的层下面的CenteredLayer类要从其输入中减去均值。要构建它，我们只需继承基础层类并实现前向传播功能。让我们向该层提供一些数据，验证它是否能按预期工作。带参数的层。
[深度学习]动手学深度学习笔记-6
01-20
Task-3——循环神经网络进阶 6.1 长短期记忆（LSTM） 6.1.1 理论知识理解 理解LSTM网络 6.1.2 LSTM的从零开始实现 以下附上代码： 导入相应的包 import numpy as np import torch from torch import nn, optim ...
[深度学习]动手学深度学习笔记-9
01-07
Task——Transformer 9.1 Transformer Transformer 是一种新的、基于 attention 机制来实现的特征提取器，可用于代替 CNN 和 RNN 来提取序列的特征。 Transformer 首次由论文 《Attention Is All You Need》 提出，...
[深度学习]动手学深度学习笔记-8
01-07
Task4——注意力机制与Seq2seq模型 8.1 注意力机制 所谓的注意力机制，其实就是让系统学会注意力-即关注重点信息忽略无关信息。带有注意力机制的系统，不仅可以自主学习注意力，还可以帮助我们更好的理解神经网络。...
[深度学习]动手学深度学习笔记-10
01-20
Task5——卷积神经网络基础；leNet；卷积神经网络进阶 10.1 卷积神经网络（CNN）基础 卷积神经网络是一种用来处理局部和整体相关性的计算网络结构，被应用在图像识别、自然语言处理甚至是语音识别领域，因为图像...
动手学深度学习笔记
pi_kaqiu的博客
12-04 1024
简写：i —— 预测的类别；o —— 置信度；σ —— 激活函数；H —— 隐藏层输出超参数：学习率η，batchsize，epoch，num_workers，隐藏层数，每层隐藏层大小，正则项λ（控制模型容量），丢弃概率，核矩阵大小，填充，步幅，输出通道数；常用损失函数：1）回归：L2损失，L1损失，Huber's Robust Loss（前两者的结合）；2）分类：交叉熵常用激活函数：sigmoid函数；Tanh函数；
1.认识深度学习
大勇若怯任卷舒
03-10 238
1.1 传统编程与数据编程 1.1.1 传统编程 大部分程序并不需要深度学习或者是更广义上的人工智能技术 微波炉 邮箱 是否需要真实世界的数据？ 数据特征 如何识别猫？ 1.1.2 数据分析编程 机器学习和深度学习应用共同的核心思想：用数据编程 如何识别猫? 利用数据推断出图像中是否有猫的函数 机器学习与深度学习 一门讨论各式各样的适用于不同问题的函数形式，以及如何使用数据来有效地获取函数参数具体值的学科 区别 深度学习：多层神经网络 1.2 起源 17世纪，雅各比
《动手学深度学习》学习笔记(六)
xiaoyaolangwj的博客
01-19 1583
第六章 循环神经网络 与之前介绍的多层感知机和能有效处理空间信息的卷积神经网络不同，循环神经网络是为更好地处理时序信息而设计的。 它引入状态变量来存储过去的信息，并用其与当前的输入共同决定当前的输出。 循环神经网络常用于处理序列数据，如一段文字或声音、购物或观影的顺序，甚至是图像中的一行或一列像素。因此，循环神经网络有着极为广泛的实际应用，如语言模型、文本分类、机器翻译、语音识别、图像分析、手写识别和推荐系统。 本章中的应用是基于语言模型的，所以我们将先介绍语言模型的基本概念，并由此激发循环神经..
李沐 《动手学深度学习》学习笔记 （3）第一章 预备知识 第一节 数据操作
D_Trump的博客
06-04 503
第一节数据操作 from mxnet import np, npx npx.set_np() #设置兼容MXNet 其他的张量处理组件 1.1.1创建指定元素和规模的矩阵 (1) np.arrange, np.reshape #numpy.arange创建一个行向量，包含从0开始到12的整数，默认为浮点数 x = np.arange(12) x array([ 0., 1., 2., 3., 4., 5., 6., 7., 8., 9., 10., 11.]) x.shape (1
《动手学深度学习》笔记
qq_42571014的博客
04-14 2227
动手学深度学习
动手学深度学习笔记（一）
Rogers_的博客
05-30 232
动手学深度学习笔记
【PyTorch】动手学深度学习-梳理与笔记小结|深度学习计算
kodoshinichi的博客
03-27 2698
李沐老师动手学深度学习-PyTorch版本的随课笔记，针对电子教材的知识要点、代码以及课后作业进行记录
动手学深度学习-学习笔记（四）
sueichen的博客
02-17 796
本文的主要内容有：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer。 一、机器翻译及相关技术 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 字符在计算机里是以编码的形式存在，我们通常所用的空格是 \x20 ，是在标准ASC...
数据结构 树学习笔记
07-28
- *2* *3* [数据结构——学习笔记——入门必看【建议收藏】](https://blog.csdn.net/liu17234050/article/details/104237990)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值