- 博客(20)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 【NLP】12 RNN神经网络应用在情绪分类NLP任务——LSTM(hidden, output)、Attention、Transform Encoder
LSTM训练集上每5000个句子打印一次结果，在验证集和测试集的Loss和Accuracy分别为以下：训练集句子总数：579947验证集句子总数：835633测试集句子总数：6582cuda(0.6757109771410998, 0.5973040848751986) (0.6478104839284357, 0.6675281240498632)(4.683135150947266, 0.758642873125979) (5.7317852833308, 0.69352386743691
2021-03-31 20:38:03
689
原创 【NLP】11其它句向量生成方法——Tf-idf模型、腾讯AI实验室汉字词句嵌入语料库求平均生成句向量
@TOCLinux服务器复制后不能windows粘贴？远程桌面无法复制粘贴传输文件解决办法：重启rdpclip.exe进程，Linux 查询进程：ps -ef |grep rdpclipfrom gensim.models import TfidfModelfrom gensim.corpora import Dictionaryimport logginglogging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)
2021-03-27 11:05:18
740
14
原创 【NLP】10其它词、句向量生成方法——腾讯AI实验室汉字词句嵌入语料库与gensim Doc2Vec
其它word2vec效果测试对比1. 腾讯AI实验室汉字词句嵌入语料库2. Doc2Vec2.1 介绍2.2 准备训练和测试数据1. 腾讯AI实验室汉字词句嵌入语料库网站：自然语言处理（NLP）研究腾讯AI实验室汉字词句嵌入语料库，语料库为200万个矢量词表示，也就是嵌入，可表示超过800万个中文单词和短语，这些单词和短语已预先训练超过300亿个单词下载后得到名为’Tencent_AILab_ChineseEmbedding.tar.gz’的文件运行程序报错：MemoryError: Un
2021-03-26 16:15:43
2084
2
原创 如何在服务器下基于Anaconda运行Pycharm上的程序？
实验室用服务器1. 如何打开服务器2. 如何把Windows下文件移到服务器上？3. 如何在服务器上运行程序？1. 如何打开服务器首先在服务器上新建账户和密码之后打开cmd，输入mstsc，再输入地址，我的是：10.106.13.92，输入账户和密码2. 如何把Windows下文件移到服务器上？首先在服务器上修改账户权限(允许使用scp从windows向服务器传程序)在windows当前路径下输入：scp -r ... your fold name ysc@10.106.13.92:/mnt/
2021-03-23 20:55:48
1076
4
原创 【PyTorch】11 聊天机器人实战——Cornell Movie-Dialogs Corpus电影剧本数据集处理、利用Global attention实现Seq2Seq模型
聊天机器人教程1. 下载数据文件2. 加载和预处理数据2.1 创建格式化数据文件2.2 加载和清洗数据3.为模型准备数据4.定义模型4.1 Seq2Seq模型4.2 编码器4.3 解码器此为官方PyTorch之文本篇的最后一个教程在本教程中，我们探索一个好玩有趣的循环的序列到序列（sequence-to-sequence）的模型用例。我们将用Cornell Movie-Dialogs Corpus 处的电影剧本来训练一个简单的聊天机器人在人工智能研究领域中，对话模型是一个非常热门的话题。聊天机器人可以
2021-03-17 23:09:25
2601
2
原创 【DL】5 BERT入门——李宏毅机器学习课程笔记(ELMO，BERT，GPT)
ELMO，BERT，GPT1. Review2. ELMO3. BERT3.1 训练BERT3.2 使用BERT3.3 ERNIE3.4 BERT学到了什么4. GPT小结视频地址1. Review如何让电脑读人类的词汇？最早采用1-of-N Encoding，显然一个词用一个向量表示不合理，之后采用Word-Class，但是这种分类还是太粗糙了，再后来采用Word Embedding同一个词汇可能有不同的意思：Have you paid that money to the bank ye
2021-03-16 13:11:13
640
2
原创 【DL】4Transformer新结构—Sandwich/Universal Transformer、Residual Shuffle Exchange Network、ALBERT/Reformer
Transformer and its variant 选学New ArchitectureReview为什么需要新结构？今天的新结构Transformer - Encoding & DecodingSandwich Transformers本次课是助教纪伯翰教授的，视频地址New ArchitectureReviewFully Connected Network——全连接网络有大量模型Convolutional Neural Network——可以抓住局部的信息Convo
2021-03-16 11:06:34
710
5
原创 【PyTorch】10 文本篇更多代码——BOW、N-Gram、CBOW、LSTM、BI-LSTM CRF
示例1. 基于逻辑回归与词袋模式(BOW)的文本分类器完整代码结果2. 词嵌入：编码形式的词汇语义2.1 N-Gram语言模型完整代码结果2.2 计算连续词袋模型(CBOW)的词向量完整代码结果3. 序列模型和长短句记忆（LSTM）模型完整代码结果4. 高级：制定动态决策和BI-LSTM CRF代码结果小结1. 基于逻辑回归与词袋模式(BOW)的文本分类器原教程网站模型将会把BOW表示映射成标签上的对数概率。我们为词汇中的每个词指定一个索引。例如，我们所有的词汇是两个单词“hello”和"world"
2021-03-15 21:21:47
1555
3
原创 【PyTorch】9 序列到序列Transformer实战——nn.Transformer、nn.TransformerEncoder、PositionalEncoding
使用nn.Transformer和torchtext的序列到序列建模1. 加载和批量操作数据2. 产生输入和目标序列的函数原中文教程，英文教程，英文API文档PyTorch 1.2 版本包括一个基于《Attention Is All You Need》的标准Transformer模块。 事实证明，该转换器模型在许多序列间问题上具有较高的质量，同时具有更高的可并行性。nn.Transformer模块完全依赖于注意力机制（另一个最近实现为nn.MultiheadAttention的模块）来绘制输入和输出之间
2021-03-15 11:37:20
13947
8
原创 【DL】3 Transformer入门——李宏毅机器学习课程笔记
Transformer1. 为什么要使用Self-attention？2. Self-Attention2.1 基本思想2.2 平行化(矩阵)计算2.3 Multi-head Self-attention2.4 Positional Encoding3. Transformer结构4. Attention可视化5. 应用场景小结1. 为什么要使用Self-attention？Transformer的中文意思是’变形金刚’，其一个很经典的应用就是BERT，Transformer实际上是Seq2seq mo
2021-03-13 21:17:09
621
原创 【PyTorch】8 语言翻译Torchtext实战——英语和德语翻译、Attention模型、 Pytorch 1.8 安装
torchtext 语言翻译1. 数据处理2. DataLoader3. 定义我们的nn.Module和Optimizer4. 训练这是官方文本篇的一个教程，原英文文档，中文文档和API文档本教程介绍了如何使用torchtext预处理包含英语和德语句子的著名数据集的数据，并使用它来训练序列到序列模型，并能将德语句子翻译成英语1. 数据处理torchtext具有工具，可用于创建可以轻松迭代的数据集，以创建语言翻译模型。 在此示例中，我们展示了如何对原始文本句子进行标记，构建词汇表以及将标记数字化为张量
2021-03-12 23:21:33
2417
7
原创 【PyTorch】7 文本分类TorchText实战——AG_NEWS四类别新闻分类
使用 TorchText 进行文本分类这是官方文本篇的一个教程，原中文链接，本文是其详细的注解，关于TorchText的官方英文文档
2021-03-11 22:12:12
6831
38
原创 【PyTorch】6 法语英语翻译RNN实战——基于Attention的seq2seq模型、Attention可视化
基于注意力机制的 seq2seq 神经网络翻译1. 序列到序列网络原理这是官方NLP From Scratch的一个教程（3/3），原中文链接，在这个项目中，我们将搭建神经网络，将法语翻译成英语，本文是其详细的注解1. 序列到序列网络原理编码器网络将输入序列压缩为一个向量，而解码器网络将该向量展开为一个新序列改进此模型，使用注意机制，该机制可让解码器学习将注意力集中在输入序列的特定范围内...
2021-03-10 20:11:32
1838
5
原创 【DL】2 Attention入门——李宏毅机器学习课程笔记
由RNN和Attention条件生成1. Generation2. Attention3. Tips for Generation4. Pointer Network视频链接1. Generation按组件生成结构化对象组件(Generating a structured object component-by-component)句子是由字符/语料库组成的通过RNN每次生成一个字符/单词图像是由像素组成的每次用RNN生成一个像素RNN可以生成图像、手写汉字、语音、文字，但
2021-03-08 19:47:43
732
原创 【PyTorch】5 姓氏生成RNN实战——使用语言生成名称
生成名称与字符级RNN1. 准备数据2. 建立网络3. 准备训练4. 训练网络5. 测试6. 全部代码总结这是官方NLP From Scratch的一个教程（2/3），原中文链接，本文是其详细的注解1. 准备数据准备数据过程与上篇姓氏分类RNN实战不同之处在于：all_letters = string.ascii_letters + " .,;'-"n_letters = len(all_letters) + 1 # Plus EOS marker此部分代码如下：import unicode
2021-03-07 11:31:59
607
2
原创 【PyTorch】4 姓氏分类RNN实战(Simple RNN)——18 种起源语言的数千种姓氏分类
使用char-RNN对姓氏进行分类1. 准备数据2. 将名称转换为张量3. 建立网络4. 训练小结这是官方NLP From Scratch的一个教程（1/3），原英文链接，中文链接1. 准备数据大多数都是罗马化的(但我们仍然需要从 Unicode 转换为 ASCII）关于unicodedata库用法：unicodedata.normalize对于每个字符，规范形式D（NFD）也称为规范分解，将每个字符转换为其分解形式。范式C（NFC）首先应用规范分解，然后再次组成预组合字符unicodedata
2021-03-06 18:44:35
1475
8
原创 【DL】1 RNN入门——李宏毅机器学习课程RNN笔记
Recurrent Neural Network1. 应用实例2. RNN基本概念1. 应用实例槽位填充通过Feedforward网络解决槽位填充问题？输入：一个单词(每一个词都用一个向量表示)输出：属于槽的输入字的概率分布情况注：如何将每个单词表示为一个向量？1-of-N encoding矢量是词库大小，每一个维度都对应着词典中的一个词，该词的维度为1，其他维度为0。Beyond 1-of-N encodingDimension for “Other”Word hashing
2021-03-04 21:22:39
767
4
原创 【PyTorch】2 Kaggle猫狗二分类实战——搭建CNN网络
@TOCKaggle 上 Dogs vs. Cats 二分类实战数据集是RGB三通道图像，由于下载的test数据集没有标签，我们把train的cat.10000.jpg-cat.12499.jpg和dog.10000.jpg-dog.12499.jpg作为测试集，这样一共有20000张图片作为训练集，5000张图片作为测试集pytorch torch.utils.data 可训练数据集创建文章主要参考此文，以及此文...
2021-03-02 22:35:40
5113
1
原创 【PyTorch】1入门——Tensor、自动微分、神经网络、PyTorch 图像分类
PyTorch1. PyTorch简介2. 快速入门背景主要对《深度学习框架PyTorch：入门与实践》进行学习：相关资料：书籍的对应代码PyTorch官方教程中文版PyTorch中文教程 (Python API)PyTorch中文文档PyTorch tutorials1. PyTorch简介1.1 PyTorch的诞生1.2 常见的深度学习框架介绍Theano停止开发，不建议作为研究工具继续学习TensorFlow不完美但最流行的深度学习框架，社区强大，适合生产环境
2021-03-02 10:27:51
601
2
opencv指定矩形区域并跟踪
2018-03-25
mfc创建对话框队ie浏览器进行操作？
2018-10-01
TA创建的收藏夹 TA关注的收藏夹
TA关注的人