深度学习
文章平均质量分 84
OneTenTwo76
这个作者很懒,什么都没留下…
展开
-
【深度学习相关操作】如何打开.npy文件
最近在跑深度学习实验,完成之后发现生成了.npy文件,于是上网查找了一下如何打开此文件,记录一下,希望可以帮助到大家。这样在控制台就可以看到文件内容了,并且在文件地址2也可以查看到.txt文件。原创 2022-09-24 12:30:00 · 4715 阅读 · 2 评论 -
【深度学习环境配置】windows出现出现‘git‘ 不是内部或外部命令,也不是可运行的程序
3、但是如果这时你打开windows的cmd,在里面打git命令会提示“不是内部或外部命令,也不是可运行的程序”,想要直接在windows的cmd里使用git命令要多加如下两步。找到git安装路径中git-core的位置,如:E:\Git\mingw64\libexec\git-core。3.1、找到git安装路径中bin的位置,如:E:\Git\bin。出现**‘git’** 不是内部或外部命令,也不是可运行的程序。2、傻瓜安装:一路next,git安装完毕!现在就可以在cmd里尽情的使用git了~原创 2022-09-21 18:44:27 · 850 阅读 · 0 评论 -
【深度学习环境配置】error Microsoft Visual C++ 14.0 or greater is required
但是当下载安装完成后,仍然报错,于是发现Visual Stuido Code在下载配置时可能会丢失文件,所以可以选择离线安装。下载完成后双击.exe文件即可运行,在第一个网盘链接下载的文件显示安装包以损坏,这里提供第二个网盘链接。报错原因是没有C++的编译环境,为此去官网下载好Visual Stuido Code。最近从github down下来一段代码,在配置的时候出现。返回之前出错的地方,环境配置成功![官网下载地址2](原创 2022-09-23 12:30:00 · 191 阅读 · 0 评论 -
【TensorFlow】window10 环境下配置tensorflow
版本号说明:tensorflow 2.0.0 gpu版本,cuda 10.0,对应的cudnn版本对应版本号可在相关链接中查询。原创 2022-09-17 13:15:00 · 290 阅读 · 0 评论 -
【TensorFlow】TF不支持GPU,The minimum required Cuda capability is 3.5.
忽略具有cuda计算力为3.0的可见GPU设备。最低要求的Cuda计算力为3.5。原创 2022-09-16 13:00:00 · 417 阅读 · 0 评论 -
【深度学习】最大熵马尔科夫、CRF、条件随机场、最大匹配法
*条件随机场(conditional random field,CRF)**是有输入x和输出y组成的一种无向图模型,可以看成是最大熵马尔可夫模型的推广。,还可以包含其他的特征,比如:词语的第一个字母是否为大写,词语的后缀类型,前缀类型的等等。寻找一个熵最大的模型,就是要使用多元逻辑回归,训练他的权重w,让训练数据能够似然度最大化。和隐马尔可夫模型不同的是,在上述的公式中,对于计算当前tag的分类过程中,输入不仅可以是。是归一化因子,类似softmax中的分母,计算的是所有可能的y的和。原创 2022-09-15 14:30:00 · 432 阅读 · 0 评论 -
【深度学习】隐马尔科夫
自动机:(又称为有限自动机,有限状态自动机,FSA)是表示有限个状态以及在这些状态之间的转移和动作等行为的数学模型。例如:常用的正则表达式就是一种用来描述字符串出现字符的自动机。假如有正则表达式:,表示的是ba后面有1个或这多个a,最后是一个感叹号。可以把上述的自动机用图来展示,如下:自动机从初始状态q0开始,反复进行下面的过程:找到第一个字母b,如果找到b那么进入到下一个状态,再去寻找下一个状态需要的字母,指导进行接收状态q4。可以使用状态转移矩阵表示自动机:上述的状态机也称为确定的自动状态机DFSA(例原创 2022-09-14 14:30:00 · 447 阅读 · 0 评论 -
【深度学习】代码封装和对外提供接口
/chatbot.proto 文件//用户id//当前用户传递的消息//当前消息发送的时间}//返回给用户的消息//返回给用户的时间}}原创 2022-09-13 14:30:00 · 466 阅读 · 0 评论 -
【深度学习】QA机器人排序模型实现
之前的模型先进行了召回,相当于是通过海选的方法找到大致相似的问题。通过现在的排序模型,需要精选出最相似的哪一个问题,返回对应的答案。原创 2022-09-12 14:15:00 · 355 阅读 · 0 评论 -
【深度学习】召回过程优化--BM25
这里可以使用fasttext,word2vector等方式实现获取词向量,然后对一个句子中的所有词语的词向量进行平均,获取整个句子的向量表示,即,该实现方法在fasttext和Word2vector中均有实现,而且通过参数的控制,实现N-garm的效果假设有文本a.txt我 很 喜欢 她今天 天气 不错我 爱 深度学习那么可以实现获取句子向量的方法如下。原创 2022-09-11 13:15:00 · 776 阅读 · 0 评论 -
【深度学习】QA机器人的实现
问答机器人是在分类之后,对特定问题进行回答的一种机器人。至于回答的问题的类型,取决于语料。当前需要实现的问答机器人是一个回答编程语言(比如python是什么,python难么等)相关问题的机器人pysparnn是一个对sparse数据进行相似邻近搜索的python库,这个库可以用来实现:高维空间中寻找最相似的数据的。pysparnn使用的是一种cluster pruning(簇修剪)的技术,即,开始的时候对数据进行聚类,后续再有限个类别中进行数据的搜索,根据计算的余弦相似度返回结果。随机选择N。原创 2022-09-10 15:00:00 · 631 阅读 · 0 评论 -
【深度学习】Beam Search原理和实现、闲聊机器人优化
在进行模型评估的过程中,每次选择概率最大的token id作为输出,那么整个输出的句子的概率就是最大的么?又被称作束集搜索,是一种seq2seq中用来优化输出结果的算法(不在训练过程中使用)。例如:传统的获取解码器输出的过程中,每次只选择概率最大的那个结果,作为当前时间步的输出,等到输出结束,会发现整个句子可能并不通顺。虽然在每一个时间步上的输出确实是概率最大的,但是整体的概率不一定是最大的,经常把它叫做greedy search[贪心算法]原创 2022-09-08 08:00:00 · 931 阅读 · 0 评论 -
深度学习【注意力机制(Attention)原理和实现】
在普通的RNN结构中,Encoder需要把一个句子转化为一个向量,然后在Decoder中使用,这就要求Encoder把源句子中所有的信息都包含进去,但是当句子长度过长的时候,这个要求就很难达到,或者说会产生瓶颈(比如,输入一篇文章等长内容),当然可以使用更深的RNN和增加单元数来解决这个问题,但是这样的代价也很大。那么有没有什么方法能够优化现有的RNN结构呢?为此,Bahdanau等人在2015年提出了Attenion机制,Attention翻译成为中文叫做注意力,把这种模型称为。...原创 2022-09-07 08:00:00 · 2501 阅读 · 0 评论 -
深度学习【使用PyTorch实现seq2seq模型】
用户说一句话后,机器人会判断其意图,如果是想进行闲聊,那么就会调用闲聊模型返回结果,这就是在项目中实现的功能。目前市面上的常见闲聊机器人有微软小冰这种类型的模型,很久之前还有小黄鸡这种体验更差的模型常见的闲聊模型都是一种seq2seq的结构,需求就是使用seq2seq来实现闲聊机器人是由encoder(编码器)和decoder(解码器)两个RNN的组成的。其中encoder负责对输入句子的理解,转化为,decoder负责对理解后的句子的向量进行处理,解码,获得输出。......原创 2022-09-05 08:00:00 · 1951 阅读 · 1 评论 -
深度学习【使用seq2seq实现聊天机器人】
由于数据中存到大量的噪声,可以对其进行基础的处理,然后分别把input和target使用两个文件保存,即input中的第N行为问,target的第N行为答。当前的数据量为500多万条,在GTX1070(8G显存)上训练,大概需要90分一个epoch,耐心的等待吧。的聊天数据非常不好获取,所以从github上使用一些开放的数据集来训练闲聊机器人模型。和之前的操作相同,需要把文本能转化为数字,同时还需实现方法把数字转化为文本。微博的标题和评论:质量相对较高。小黄鸡的聊天语料:噪声很大。...原创 2022-09-06 08:00:00 · 1292 阅读 · 4 评论 -
深度学习【fastText原理解析】
哈夫曼树概念:给定n个权值作为n个叶子结点,构造一棵二叉树,若该树的带权路径长度达到最小,称这样的二叉树为最优二叉树,也称为哈夫曼树(Huffman Tree)。哈夫曼树是带权路径长度最短的树,权值较大的结点离根较近。原创 2022-08-29 08:00:00 · 547 阅读 · 0 评论 -
深度学习【QA语料库准备、文本分词、分类目的和方法、使用fastText实现文本分类】
对句子进行分词之后,句子中不重要的词fastText是一个单词表示学习和文本分类的库优点:在标准的多核CPU上, 在10分钟之内能够训练10亿词级别语料库的词向量,能够在1分钟之内给30万多类别的50多万句子进行分类。fastText 模型输入一个词的序列(一段文本或者一句话),输出这个词序列属于不同类别的概率。原创 2022-08-28 08:00:00 · 1625 阅读 · 0 评论 -
深度学习【PyTorch中序列化容器、QA机器人、环境准备】
QA BOT(问答机器人):回答问题代表 :智能客服、比如:提问和回答TASK BOT (任务机器人):帮助人们做事情代表:siri比如:设置明天早上9点的闹钟CHAT BOT(聊天机器人):通用、开放聊天代表:微软小冰实现聊天机器人,起到智能客服的效果,能够为使用app的用户解决基础的问题,而不用额外的人力。python是什么,python有什么优势等问题。原创 2022-08-27 08:00:00 · 342 阅读 · 0 评论 -
深度学习【RNN、使用RNN实现文本情感分类】
为什么有了神经网络还需要有循环神经网络?在普通的神经网络中,信息的传递是单向的,这种限制虽然使得网络变得更容易学习,但在一定程度上也减弱了神经网络模型的能力。特别是在很多现实任务中,网络的输出不仅和当前时刻的输入相关,也和其过去一段时间的输出相关。此外,普通网络难以处理时序数据,比如视频、语音、文本等,时序数据的长度一般是不固定的,而前馈神经网络要求输入和输出的维数都是固定的,不能任意改变。因此,当处理这一类和时序相关的问题时,就需要一种能力更强的模型。原创 2022-08-26 08:00:00 · 2121 阅读 · 0 评论 -
深度学习【NLP介绍、文本情感分类案例】
就是通常所说的分词,分出的每一个词语把它称为token。jieba分词:https://github.com/fxsjy/jieba为了对前面的word embedding这种常用的文本向量化的方法进行巩固,这里会完成一个文本情感分类的案例现在有一个经典的数据集IMDB,这是一份包含了5万条流行电影的评论数据,其中训练集25000条,测试集25000条。数据格式如下:下图左边为名称,其中名称包含两部分,分别是序号和情感评分,(1-4为neg,5-10为pos),右边为评论内容。原创 2022-08-25 08:00:00 · 1243 阅读 · 0 评论 -
深度学习【使用PyTorch实现手写数字识别】
模型的构建使用了一个三层(输入层,输出层,全连接层)的神经网络,其中包括两个全连接层和一个输出层,第一个全连接层会经过激活函数的处理,将处理后的结果交给下一个全连接层,进行变换后输出结果。,黑白图片的通道数只有1,其中每个像素点的取值为[0,255],彩色图片的通道数为(R,G,B),每个通道的每个像素点的取值为[0,255],三个通道的颜色相互叠加,形成了各种颜色。给定均值:mean,shape和图片的通道数相同(指的是每个通道的均值),方差:std,和图片的通道数相同(指的是每个通道的方差),将会把。.原创 2022-08-23 08:00:00 · 1775 阅读 · 1 评论 -
深度学习【使用pytorch实现基础模型、优化算法介绍、数据集的加载】
每次迭代都需要把所有样本都送入,这样的好处是每次迭代都顾及了全部的样本,做的是全局最优化,但是有可能达到局部最优。不适合大数据量的场景。在torch中提供了数据集的基类,继承这个基类,能够非常快速的实现对数据的加载。__len__方法,能够实现通过全局的len()方法获取其中的元素个数方法,能够通过传入索引的方式获取数据,例如通过dataset[i]获取其中的第i条数据__add__方法:将两个数据集合并成一个MNIST是由Yann LeCun。...原创 2022-08-22 08:00:00 · 395 阅读 · 0 评论 -
深度学习【pytorch安装,入门,梯度下降,线性回归】
Pytorch是一款facebook发布的深度学习框架,由其易用性,友好性,深受广大用户青睐。安装地址介绍:https://pytorch.org/get-started/locally/带GPU安装步骤:不带GPU安装步骤安装之后打开ipython输入:注意:安装模块的时候安装的是 ,但是在代码中都是使用张量是一个统称,其中包含很多类型:使用numpy中的数组创建tensor使用torch的api创建tensor创建3行4列的空的tensor,会用无用数据进行填充 创建3行4列的全为1原创 2022-08-21 08:00:00 · 190 阅读 · 0 评论 -
深度学习【DL介绍、神经网络介绍】
深度学习(deep learning)是机器学习的分支,是一种以人工神经网络为架构,对数据进行特征学习的算法。人工神经网络(英语:Artificial Neural Network,ANN),简称神经网络(Neural Network,NN)或类神经网络,是一种模仿生物神经网络(动物的中枢神经系统,特别是大脑)的结构和功能的数学模型,用于对函数进行估计或近似。和其他机器学习方法一样,神经网络已经被用于解决各种各样的问题,例如机器视觉和语音识别。这些问题都是很难被传统基于规则的编程所解决的。...原创 2022-08-19 00:00:00 · 1375 阅读 · 0 评论