- 博客(25)
- 收藏
- 关注
RSS订阅原创 7.3 NLP中的常用预训练模型
3 NLP中的常用预训练模型 学习目标: 了解当下NLP中流行的预训练模型. 掌握如何加载和使用预训练模型. 2.3.1 当下NLP中流行的预训练模型: BERT GPT GPT-2 Transformer-XL XLNet XLM RoBERTa DistilBERT ALBERT T5 XL
2020-05-18 18:31:27
1901
原创 7.2 迁移学习
迁移学习2.1 迁移学习理论 学习目标: 了解迁移学习中的有关概念. 掌握迁移学习的两种迁移方式. 2.1.1 迁移学习中的有关概念: 预训练模型 微调 微调脚本 2.1.2 预训练模型(Pretrained model): 一般情况下预训练模型都是大型模型，具备复杂的网络结构，众多的参数量，以及在足够大的数据集下进行训练而产生的模型. 在NLP领域，预训练模型往往是语言模型，因为语言模.
2020-05-18 18:29:36
478
原创 7.1 fasttext工具的使用
fasttext工具的使用1.1 认识fasttext工具 学习目标: 了解fasttext工具的作用. 了解fasttext工具的优势及其原因. 掌握fasttext的安装方法. 作为NLP工程领域常用的工具包, fasttext有两大作用: 进行文本分类 训练词向量 fasttext工具包的优势: 正如它的名字, 在保持较高精度的情况下, 快速的进行训练和预测是fasttext的最大..
2020-05-18 18:28:09
1143
原创 6.1 Transformer简介
第一章:Transformer背景介绍1.1 Transformer的诞生¶2018年10月，Google发出一篇论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》, BERT模型横空出世, 并横扫NLP领域11项任务的最佳成绩!论文地址:https://arxiv.org/pdf/1810.04805.pdf而在BERT中发挥重要作用的结构就是Trans...
2020-05-18 18:08:58
718
原创 5.5 注意力机制
5 注意力机制 学习目标: 了解什么是注意力计算规则以及常见的计算规则. 了解什么是注意力机制及其作用. 掌握注意力机制的实现步骤. 5.1 什么是注意力: 我们观察事物时，之所以能够快速判断一种事物(当然允许判断是错误的), 是因为我们大脑能够很快把注意力放在事物最具有辨识度的部分从而作出判断，而并非是从头到尾的观察一遍事物后，才能有判断结果. 正是基于这样的理论，就产生了注意力机制. 5.2 什么是注意力计算规则:.
2020-05-18 18:06:50
1163
1
原创 5.4 GRU模型
4 GRU模型 学习目标: 了解GRU内部结构及计算公式. 掌握Pytorch中GRU工具的使用. 了解GRU的优势与缺点. GRU（Gated Recurrent Unit）也称门控循环单元结构, 它也是传统RNN的变体, 同LSTM一样能够有效捕捉长序列之间的语义关联, 缓解梯度消失或爆炸现象. 同时它的结构和计算要比LSTM更简单, 它的核心结构可以分为两个部分去解析: 更新门 重置门 4.1 GR.
2020-05-17 21:38:13
3886
1
原创 5.3 LSTM模型
3 LSTM模型 学习目标: 了解LSTM内部结构及计算公式. 掌握Pytorch中LSTM工具的使用. 了解LSTM的优势与缺点. LSTM（Long Short-Term Memory）也称长短时记忆结构, 它是传统RNN的变体, 与经典RNN相比能够有效捕捉长序列之间的语义关联, 缓解梯度消失或爆炸现象. 同时LSTM的结构更复杂, 它的核心结构可以分为四个部分去解析: 遗忘门 输入门 细胞状态.
2020-05-17 21:37:21
882
原创 5.2.1 传统RNN模型
3 传统RNN模型 学习目标: 了解传统RNN的内部结构及计算公式. 掌握Pytorch中传统RNN工具的使用. 了解传统RNN的优势与缺点. 3.1 传统RNN的内部结构图: 结构解释图: 内部结构分析: 我们把目光集中在中间的方块部分, 它的输入有两部分, 分别是h(t-1)以及x(t), 代表上一时间步的隐层输出, 以及此时间步的输入, 它们进入RNN结构体后, 会"融合"到一起, 这种融合我们根据结构解释
2020-05-17 21:35:56
525
原创 5.2 RNN模型
2 RNN模型 学习目标: 了解什么是RNN模型. 了解RNN模型的作用. 了解RNN模型的分类. 2.1 什么是RNN模型: RNN(Recurrent Neural Network), 中文称作循环神经网络, 它一般以序列数据为输入, 通过网络内部的结构设计有效捕捉序列之间的关系特征, 一般也是以序列形式进行输出. 2.1.1 一般单层神经网络结构: 2.1.2 RNN单层网络结构: 2.1..
2020-05-17 21:35:01
2516
原创 5.1 HMM与CRF
1 认识HMM与CRF模型 学习目标: 了解HMM与CRF模型的输入和输出. 了解HMM与CRF模型的作用. 了解HMM与CRF模型的使用过程. 了解HMM与CRF模型之间的差异. 了解HMM和CRF的发展现状. 1.1 HMM 1.1.1 HMM模型的输入和输出: HMM(Hidden Markov Model), 中文称作隐含马尔科夫模型, 因俄国数学家马尔可夫而得名. 它一般以文本序列数据...
2020-05-17 21:32:02
302
原创 4.4 文本特征处理及数据增强
文本特征处理 学习目标: 了解文本特征处理的作用. 掌握实现常见的文本特征处理的具体方法. 文本特征处理的作用: 文本特征处理包括为语料添加具有普适性的文本特征, 如:n-gram特征, 以及对加入特征之后的文本语料进行必要的处理, 如: 长度规范. 这些特征处理工作能够有效的将重要的文本特征加入模型训练中, 增强模型评估指标. 常见的文本特征处理方法: 添加n-gram特征 文本长度规范 1 什么
2020-05-17 21:30:53
850
原创 4.3 文本数据分析
文本数据分析 学习目标: 了解文本数据分析的作用. 掌握常用的几种文本数据分析方法. 文本数据分析的作用: 文本数据分析能够有效帮助我们理解数据语料, 快速检查出语料可能存在的问题, 并指导之后模型训练过程中一些超参数的选择. 常用的几种文本数据分析方法: 标签数量分布 句子长度分布 词频统计与关键词词云 说明: 我们将基于真实的中文酒店评论语料来讲解常用的几种文本数据..
2020-05-17 21:29:21
2088
1
原创 4.2 文本张量表示方法
文本张量表示方法 学习目标: 了解什么是文本张量表示及其作用. 掌握文本张量表示的几种方法及其实现. 1.什么是文本张量表示: 将一段文本使用张量进行表示，其中一般将词汇为表示成向量，称作词向量，再由各个词向量按顺序组成矩阵形成文本表示. 举个栗子: ["人生", "该", "如何", "起头"]==># 每个词对应矩阵中的一个向量[[1.32, 4,32, 0,32, 5.2],[3.1, 5...
2020-05-17 21:26:21
1507
原创 4.1 文本预处理
文本预处理1.1 认识文本预处理 学习目标: 了解什么是文本预处理及其作用. 了解文本预处理中包含的主要环节. 文本预处理及其作用: 文本语料在输送给模型前一般需要一系列的预处理工作, 才能符合模型输入的要求, 如: 将文本转化成模型需要的张量, 规范张量的尺寸等, 而且科学的文本预处理环节还将有效指导模型超参数的选择, 提升模型的评估指标. 文本预处理中包含的主要环节: 文本处理的基本方法 文本张量表.
2020-05-17 21:24:50
2221
1
原创 3.3 自然语言处理入门
自然语言处理入门自然语言处理入门 学习目标: 了解什么是自然语言处理. 了解自然语言处理的发展简史. 了解自然语言处理的应用场景. 了解本教程中的自然语言处理. 什么是自然语言处理: 自然语言处理（Natural Language Processing, 简称NLP）是计算机科学与语言学中关注于计算机与人类语言间转换的领域. 自然语言处理的发展简史: 自然语言处理..
2020-05-17 21:23:44
270
原创 3.2 语音和语言处理简史
语音和语言处理简史目标 简单了解自然语言处理的发展历程 在历史上，语音和语言处理曾经在计算机科学、电子工程、语言学和心理认知语言学等不同的领域分别进行研究。之所以出现这种情况，是由于语音和语言处理包括了一系列性质不同而又彼此交叉的学科，它们是：语言学中的计算语言学（computational linguistics）、计算机科学中的自然语言处理（natural language processing）、电子工程中的语音识别（speech recognition）、心理学中的计算心理语言学（co
2020-05-16 15:36:56
1922
原创 3.1 自然语言处理介绍
自然语言处理介绍目标 了解自然语言处理的愿景和经典任务 知道图灵测试 1. 自然语言处理101-对话很多科幻片里面，都会有一些机器人能够用人类的语言与人类沟通。比如，电影机器人总动员里的清洁机器人瓦力就是可以用自然语言（英语）对话的。希望计算机具有处理人类语言的能力的这种想法出现已久。我们把这种能够使用自然语言与人类会话的程序称为对话系统（dialogue systems）1.1 对话系统的组成事实上，要深入研究对话系统，就要研究它的各个组成部分...
2020-05-16 15:35:36
522
原创 2.6 使用Pytorch实现手写数字识别
使用Pytorch实现手写数字识别目标知道如何使用Pytorch完成神经网络的构建知道Pytorch中激活函数的使用方法知道Pytorch中torchvision.transforms中常见图形处理函数的使用知道如何训练模型和如何评估模型1. 思路和流程分析流程：准备数据，这些需要准备DataLoader构建模型，这里可以使用torch构造一个深层的神经网络模型的训练模型的保存，保存模型，后续持续使用模型的评估，使用测试集，观察模型的好坏2. 准备训练集和测试集
2020-05-16 15:34:57
560
原创 2.5 Pytorch中的数据加载
Pytorch中的数据加载目标 知道数据加载的目的 知道pytorch中Dataset的使用方法 知道pytorch中DataLoader的使用方法 知道pytorch中的自带数据集如何获取 1. 模型中使用数据加载器的目的在前面的线性回归模型中，我们使用的数据很少，所以直接把全部数据放到模型中去使用。但是在深度学习中，数据量通常是都非常多，非常大的，如此大量的数据，不可能一次性的在模型中进行向前的计算和反向传播，经常我们会对整个数据进行随机的打乱顺序，把
2020-05-16 15:30:31
402
原创 2.4 Pytorch基础模型组件及线性回归
Pytorch基础模型组件目标 知道Pytorch中Module的使用方法 知道Pytorch中优化器类的使用方法 知道Pytorch中常见的损失函数的使用方法 知道如何在GPU上运行代码 能够说出常见的优化器及其原理 1. Pytorch完成模型常用API在前一部分，我们自己实现了通过torch的相关方法完成反向传播和参数更新，在pytorch中预设了一些更加灵活简单的对象，让我们来构造模型、定义损失，优化损失等那么接下来，我们一起来了解一下其
2020-05-16 15:27:31
556
原创 2.3 Pytorch自动求导及线性回归
Pytorch自动求导目标 知道requires_grad的作用 知道如何使用backward 1. 前向计算对于pytorch中的一个tensor，如果设置它的属性.requires_grad为True，那么它将会追踪对于该张量的所有操作。或者可以理解为，这个tensor是一个参数，后续会被计算梯度，更新该参数。1.1 计算过程假设有以下条件（1/4表示求均值，xi中有4个数），使用torch完成其向前计算的过程如果x为参数，需要对其进行梯度的计算和更新..
2020-05-16 15:20:39
452
原创 2.2 梯度下降和反向传播
梯度下降和反向传播目标 知道什么是梯度下降 知道什么是反向传播 1. 梯度是什么?梯度：是一个向量，导数+变化最快的方向(学习的前进方向)回顾机器学习收集数据，构建机器学习模型，得到判断模型好坏的方法：目标：通过调整(学习)参数，尽可能的降低，那么我们该如何调整呢？随机选择一个起始点,通过调整，让loss函数取到最小值的更新方法： 计算的梯度（导数） 更新 其中： <0 ,意味着w将增大 &..
2020-05-16 15:18:04
532
1
原创 2.1 Pytorch的安装及入门使用
Pytorch的安装目标 知道如何安装pytorch 1. Pytorch的介绍Pytorch是一款facebook发布的深度学习框架，由其易用性，友好性，深受广大用户青睐。2. Pytorch的版本3. Pytorch的安装安装地址介绍：https://pytorch.org/get-started/locally/安装步骤：pip3 install torch torchvision安装之后打开ipython输入：In [1]:import ...
2020-05-16 15:11:05
395
原创 1.2 神经网络的介绍
2 神经网络的介绍目标 知道神经网络的概念 知道什么是神经元 知道什么是单层神经网络 知道什么是感知机 知道什么是多层神经网络 知道激活函数是什么，有什么作用 理解神经网络的思想 1. 人工神经网络的概念人工神经网络（英语：Artificial Neural Network，ANN），简称神经网络（Neural Network，NN）或类神经网络，是一种模仿生物神经网络（动物的中枢神经系统，特别是大脑）的结构和功能的计算模型。
2020-05-16 15:06:27
1213
原创 1.1 深度学习的介绍
1深度学习的介绍目标 知道什么是深度学习 知道深度学习和机器学习的区别 能够说出深度学习的主要应用场景 知道深度学习的常见框架 1. 深度学习的概念深度学习（英语：deep learning）是机器学习的分支，是一种以人工神经网络为架构，对数据进行特征学习的一类算法。2. 深度学习和机器学习的区别2.1 区别1 ：特征提取从特征提取的角度出发： 机器学习需要有人工的特征提取的过程 深度学习没有复杂的人工特征提取的过程，特..
2020-05-16 15:05:09
437
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人