![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
柒夏码农之路
这个作者很懒,什么都没留下…
展开
-
【pytorch基础学习笔记】零基础速成,了解pytorch基础语法和应用
1.pytorch简介Torch是一个有大量机器学习算法支持的科学计算框架,是一个与Numpy类似的张量(Tensor) 操作库,其特点是特别灵活,但因其采用了小众的编程语言是Lua,所以流行度不高,这也就有了PyTorch的出现。所以其实Torch是 PyTorch的前身,它们的底层语言相同,只是使用了不同的上层包装语言。PyTorch是一个基于Torch的Python开源机器学习库,用于自然语言处理等应用程序。它主要由Facebookd的人工智能小组开发,不仅能够 实现强大的GPU加速,同时还支原创 2021-12-08 15:26:53 · 1257 阅读 · 0 评论 -
【黑马程序员自然语言处理实战课程】学习笔记---pytorch基础知识和autograd
1.1什么是pytorchpytorch是一个基于Numpy的科学计算包,向他的使用者提供两大功能作为numpy的替代者,向用户提供GPU强大功能的能力; 作为一款深度学习的平台,向用户提供最大的灵活性和速度pytorch基本元素操作:tensor张量:类似于numpy中的ndarray数据结构,最大区别在于tensor可以利用GPU的加速功能。 需要先将torch引用进来 from __future__ import print_functionimport torch 1..原创 2021-12-07 10:30:32 · 4303 阅读 · 0 评论 -
6.自然语言处理学习笔记:Multi-head-self-attention 和Transformer基础知识 和BERT文本分类原理
Multi-head-self-attention:可以更细致的去发现局部信息。Transformer:BERT文本分类原理:原创 2021-11-15 10:15:59 · 565 阅读 · 0 评论 -
5.自然语言处理学习笔记:Bert模型基础理论知识,快速掌握原理。
Self-Attention:可将self-Attention layer 可以看成一个黑盒子。每一个b1,b2,……可以看到a1,a2,…….并且可以实现并行化。https://arxiv.org/abs/1706.03762 类似百度文库的网站,免费下载文档...原创 2021-11-15 09:27:54 · 313 阅读 · 0 评论 -
4.自然语言处理学习笔记:注意力机制attention
Sequence存在某些问题:下一时刻的输出依赖于上一时刻的所有序列;原创 2021-11-14 10:43:26 · 272 阅读 · 0 评论 -
3.自然语言处理学习笔记:文本分类模型综述 seq2seq
单层神经网络:可视为一个线性模型经典RNN网络:依赖于上一层RNN变体(NV1):多个输入,一个输出RNN变体(1VN):一个输入多个输出RNN的变体(NVN):多个输入多个输出(需要对齐)seq2seq模型由三部分组成:Encoder/Decoder和连接俩个的中间状态向量(c)Encoder部分:...原创 2021-11-13 22:04:01 · 422 阅读 · 0 评论 -
2.自然语言处理学习笔记:神经网络的数据格式
神经网络中数据格式结构化数据:数据表。例如:班级名单、股票价格等。 非结构化数据:序列(文本)、图片、视频。神经网络中可以使用的数据:数据表-2D数据 形状=(样本数,特征数) 序列类-3D数据 形状=(样本数,步长,特征数) 图像类-4D数据 形状=(样本数,宽,高,通道数) 视频类-5D数据 形状=(样本数,帧数,宽,高,通道数)数据表:2D数据,其实就是矩阵,一般可以存储为csv或者excel序列类:3D数据,通常表示文本。假设收集到一百万条推文,那...原创 2021-11-13 20:58:05 · 774 阅读 · 0 评论 -
自然语言处理入门基础,主要技术,发展历程,应用领域
自然语言处理:包括语言识别、自然语言理解、自然语言生成、人机交互所涉及的中间节点。是人工智能和计算机科学的子学科自然语言处理的研究方向:基础技术:词法分析、句法分析、实体识别、语义分析、篇章分析、语言模型 核心技术:机器翻译、自动问答、情感分析、信息抽取、文本摘要、文本蕴含 应用实践:搜索引擎、推荐系统、智能客服、个人助理、舆情分析、知识图谱文本分类的简介:...原创 2021-11-13 20:32:21 · 1780 阅读 · 0 评论 -
NLP : 基于深度学习的自然语言处理---自监督学习1(2/8)
1.神经网络2.自监督 词表示学习3.句子 编码网络4.自回归 自编码 预训练模型1. 神经网络原创 2021-09-22 16:23:51 · 247 阅读 · 0 评论 -
NLP : 基于深度学习的自然语言处理---基础概念(1/8)
1. NLP基础概念与课前准备1.1 什么是自然语言处理自然语言处理是计算机科学领域与人工智能领域的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。融合了语言学、计算机科学和数学。1.2 自然语言处理的应用(1)智能问答(2)智能对话如:智能语音咖啡推荐……(3)机器同传如:各大国际会议的报告、美剧……1.3 自然语言处理的挑战1.4 自然语言处理的技术发展...原创 2021-09-22 14:58:15 · 207 阅读 · 0 评论