深度学习
文章平均质量分 87
Vinsmoke -Hou
这个作者很懒,什么都没留下…
展开
-
QA机器人
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、问答机器人的实现逻辑1.1 对问题的处理1.2 问题的召回1.3 问题的排序二、QA机器人的召回1.对现有问答对的准备2.把问题转化为向量3.计算相似度3.1 pysparnn的介绍3.2 使用pysparnn完成召回的过程3.3 pysparnn的原理介绍4. 召回过程优化4.1 通过BM25算法替代TFIDF4.2 BM25算法的实现4.3 使用Fasttext实现获取句子向量4.4 训练模型和封装代码总结前言提示原创 2021-09-14 17:02:57 · 1182 阅读 · 1 评论 -
BeamSearch的原理和实现
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录目标一、Beam Search的介绍二、Beam search的实现2.1.数据结构-堆-的认识2.2. 使用堆来实现beam search目标1.知道beam search的概念和原理2. 能够在代码中使用Beam search完成预测过程提示:以下是本篇文章正文内容,下面案例可供参考一、Beam Search的介绍在进行模型评估的过程中,每次我们选择概率最大的token id作为输出,那么整个输出的句子的概率就是原创 2021-09-07 10:40:06 · 2484 阅读 · 0 评论 -
Attention的原理和实现
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、准备训练数据二、使用步骤1.引入库2.读入数据总结前言提示:这里可以添加本文要记录的大概内容:例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。提示:以下是本篇文章正文内容,下面案例可供参考一、准备训练数据单轮次的聊天数据非常不好获取,所以这里我们从github上使用一些开放的数据集来训练我们的闲聊模型。数据地址:https://gith原创 2021-09-06 14:58:13 · 1259 阅读 · 0 评论 -
Seq2Seq模型
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、Seq2Seq模型1、Seq2Seq的介绍2、Seq2Seq模型的实现2.1、实现流程2.2、文本转化为序列、准备Dataloader二、模型的搭建1.准备编码器2. 准备解码器3. seq2seq模型搭建、训练和保存三、整体流程前言提示:这里可以添加本文要记录的大概内容:例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。提示:以下是本篇文章正原创 2021-08-31 17:26:49 · 1669 阅读 · 0 评论 -
聊天机器人项目
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录目标一、流程介绍1.项目流程和环境的安装2.闲聊模型2. 问答模型3. fasttext安装4. pysparnn 安装二、语料准备1. 分词词典1.1 词典处理1.2 对多个词典文件内容进行合并2. 准备停用词2.1 停用词的准备2.2 停用词的准备3. 语料准备4. 文本分词三、意图识别和文本分类1. 机器学习中的常见的分类方法2. 深度学习实现文本分类四、fastText实现文本分类1. fastText的介绍2. 安装和基本原创 2021-08-27 11:16:43 · 1007 阅读 · 1 评论 -
pytorch序列化容器
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录目标一、梯度消失和梯度爆炸1.1 梯度消失1.2 梯度爆炸1.3 接近梯度消失或者梯度爆炸的经验二、nn.Sequential三、nn.BatchNorm1d四、nn.Dropout目标1. 知道梯度消失和梯度爆炸的原理和解决方法2. 能够使用nn.Sequential完后才能模型的搭建3. 知道nn.BatchNormld的使用方法4. 知道nn.Dropout的使用方法一、梯度消失和梯度爆炸在使用pytorch原创 2021-08-25 10:47:42 · 337 阅读 · 0 评论 -
文本情感分类
1.知道文本处理的基本方法2.能够使用数据实现情感分类文章目录一、案例介绍二、思路分析1.准备数据集2.读入数据文本序列化(word2sequence)模型搭建总结一、案例介绍现在我们有一个经典的数据集IMDB数据集,地址http://ai.stanford.edu/~amaas/data/sentiment/:,这是一份包含了5万条流行电影的评论数据,其中训练集25000条,测试集25000条,数据格式如下:下边左边为名称,其中名称包含两部分,分别是序号和情感评分(1-4位neg,5-10原创 2021-08-21 15:52:51 · 466 阅读 · 0 评论 -
Pytorch实现手写数字识别
1、流程分析准备数据,需要准备DataLoader构建模型,可以使用torch构造一个深层的神经网络模型的训练模型的保存模型的评估2、准备数据集和测试集使用torch中自带的MNIST数据集,调用MNIST返回的结果中图形数据是一个Image对象,需要对其进行处理,为了进行数据的处理,接下来学习torchvision.transforms的方法2.1、torchvision.transforms的图形数据处理方法torchvision.transforms.ToTensor把一个取值原创 2021-08-17 11:27:24 · 508 阅读 · 0 评论 -
常见的优化算法
1. 常见的优化算法1.1 梯度下降算法(batch gradient descent BGD)每次迭代都需要把所有样本都送入,这样的好处是每次迭代都顾及了全部的样本,做的是全局最优化。缺点:要放入全部样本,速度慢1.2 随机梯度下降(Stochastic gradient descent SGD)针对梯度下降算法训练速度过慢的缺点,随机梯度下降是从样本中随机抽出一组,训练后按梯度更新一次,然后再抽取一组,再更新一次,在样本量极其大的情况下,可能不用训练完所有的样本就可以获得一个损失值在可接受范围原创 2021-08-15 10:28:38 · 7412 阅读 · 0 评论 -
梯度和反向传播
梯度是什么?梯度:是一个向量,指的是学习(参数更新)的方向计算图和反向传播计算图:通过图的方式来描述函数的图形J(a,b,c)=3(a+bc)J(a,b,c)=3(a+bc)J(a,b,c)=3(a+bc),令u=a+v,v=bcu=a+v,v=bcu=a+v,v=bc,把它绘制成计算图可以表示为:之后对每个节点求偏导有:神经网络的反向传播神经网络的示意图w1,w2,......wnw1,w2,......wnw1,w2,......wn表示第n层权重wn[i,j]wn[i,j]wn[原创 2021-08-12 17:03:10 · 1282 阅读 · 0 评论 -
Pytorch基本操作
本文只是学习做的笔记,不喜忽喷。Pytorch的安装安装地址介绍:https://pytorch.org/带GPU的安装:conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch不带GPU的安装conda install pytorch torchvision torchaudio cpuonly -c pytorch安装之后在ipython中验证import torchtorch.__versio原创 2021-08-11 11:40:59 · 204 阅读 · 0 评论 -
深度学习与人工神经网络的介绍
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar原创 2021-08-10 15:41:48 · 5101 阅读 · 0 评论 -
Sklearn fit , transform ,fit_transform
一、关于sklearn fit 和transformsklearn里的封装好的各种算法使用前都要fit;fit之后,可以调用各种API方法,transform是其中一个API;fit原义指的是安装、使适合的意思,有点train的含义,但是和train不同的是,它并不是一个训练的过程,而是一个适配的过程,过程都是确定的,最后得到一个可用于转换的有价值的信息。(目前可以简单理解为:fit获取了关于数据的有效信息,transform利用fit提供的有效信息进行特征转换)二、fit、transfor转载 2021-07-29 10:38:59 · 1240 阅读 · 0 评论 -
训练深度学习模型的小技巧
本文是B站李宏毅老师机器学习学习笔记。我们说的Deep Learning的三个步骤如下,但是模型在训练集和测试集上得到的结果不一定太好,如果是在训练集上得到的结果不理想,那么就是最后一步选择模型的时候出现问题;如果在训练集上良好,在测试集上结果不好,那就属于过拟合。Recipe of Deep Learning针对不同时间段出现问题的解决方法。训练集上结果不好的解决方法 换一个新的激活函数 梯度消失问题(Vanishing Gradient)当把网络结构构建的比较深的时原创 2020-05-16 18:03:35 · 668 阅读 · 0 评论 -
卷积神经网络(CNN)介绍
本文是B站李宏毅老师机器学习学习笔记一个网络结构想要看图片中有没有出现某一个图案,不需要看整张图片,只需要看图片的一小部分就可以决定。CNN的整体架构在Convolution中有很多Filter,每一个Filter都是一个矩阵,矩阵的大小是自己设计出来的,数组里面的数值都是学出来的。Convolution(卷积)假设现在有一个6x6像素的图片,Filter的大小是3x3。先将右上角的Filter放在6x6矩阵的左上角,然后对应元素相乘得3,然后向右移动,移动的大小由.原创 2020-05-13 21:10:37 · 607 阅读 · 0 评论 -
Bert核心代码解读
前面已经介绍了如何先测试一个bert任务,对这方面还不了解的可以看一下前面的博客。BERT 最主要的模型实现部分---BertModel,代码位于modeling.py 模块为了便于理解,下面的代码中的batch_size假设成8,seq_length长度是128。配置类(BertConfig)class BertConfig(object): """BERT模型的配置类....原创 2020-04-06 15:52:10 · 4053 阅读 · 2 评论 -
Bert模型详解和训练实例
前面已经介绍了transformer,理解了transformer,那么理解bert就简单多了。对transformer不是很了解的可以跳转到https://blog.csdn.net/one_super_dreamer/article/details/105181690Bert简介BERT来自Google的论文Pre-training of Deep Bidirectional Tran...原创 2020-03-30 20:03:04 · 26026 阅读 · 24 评论 -
深度学习在NLP领域的发展之Transformer
本文出自http://fancyerii.github.io/2019/03/09/transformer-illustrated/学习笔记,大家可以前去阅读。博主写的挺好的。简介Transformer模型来自论文Attention Is All You Need。这个模型最初是为了提高机器翻译的效率,它的Self-Attention机制和Position Encoding可以替代RNN。...原创 2020-03-29 20:11:28 · 3707 阅读 · 1 评论