![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
hpulfc
你好啊 多评论呐~
展开
-
机器学习(TensorFlow)各种模型的实现
机器学习(TensorFlow)各种模型的实现记得点赞原创 2018-05-02 09:42:20 · 1255 阅读 · 0 评论 -
pip 安装库时磁盘空间不足怎么办?如何从指定位置安装相应的包
pip 安装库是磁盘空间不足怎么办 磁盘空间不足,可以考虑释放空间,或增大空间,释放空间指的是默认情况下,将主文件夹下面的没用的文件删除一些,同时可以将缓存文件清空一些,linux的是~/.cache/pip 下。增大空间是可以添加硬盘或者是虚拟盘。对于虚拟主机来说可以挂载其他硬盘,然后在安装python的包时,直接指定包的安装位置即可,例如:pip install --target=/ta...原创 2018-07-09 15:57:31 · 4959 阅读 · 2 评论 -
window 安装 pytorch
window 安装 pytorch首先:进入到这个网址 https://pytorch.org/然后选择对应的版本:下面会有相应的生成命令,直接在命令行中运行命令即可进行安装注意: conda 的需要先切换到相应的环境中,接着运行命令即可。 另外,上面网站在打开时,先翻墙,访问速度会快一些。...原创 2018-07-03 15:23:27 · 378 阅读 · 0 评论 -
RNN与LSTM
1. 循环神经网络①基本结构在传统的神经网络模型中,是从输入层到隐含层再到输出层,层与层之间是全连接的,每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题却无能无力。例如,你要预测句子的下一个单词是什么,一般需要用到前面的单词,因为一个句子中前后单词并不是独立的。RNN(Recurrent Neuron Network)是一种对序列数据建模的神经网络,即一个序列当前的输出与前面的...转载 2018-07-16 18:17:35 · 1579 阅读 · 0 评论 -
如何使用tensor2tensor自定义数据并训练模型(很全面)
如何使用tensor2tensor自定义数据训练模型由于tensor2tensor高度的封装,内部添加和一些数据集,和一些常见的问题,所以在直接用起来比较方便。但是如果想要用不同的数据训练模型,或者是用模型解决一个其他的问题,就要费一番功夫了。这里主要是解决了用自己的数据集,使用tensor2tensor训练一个英中翻译模型,当然训练中英,只需要加上`_rev`即可。如果要使用自己的数...原创 2018-07-23 19:06:24 · 9441 阅读 · 34 评论 -
简答易懂入门机器学习
机器学习的一个例子 (平面拟合)# 使用tensorflow 进行线性拟合import tensorflow as tfimport numpy as np# g构造数据x = np.random.rand(2, 100)x_data = np.float32(x)# print(x_data.dtype)y_data = np.dot([0.100, 0.200], x_da...原创 2018-07-12 16:16:49 · 259 阅读 · 0 评论 -
简单线性模型进行手写数字识别
这里包含了机器学习的基本过程,代码作为示例:# 首先加载数据# 这里使用了来自Google的一个脚本, 百度能搜到import input_dataimport tensorflow as tfmnist = input_data.read_data_sets('MNIST_data', one_hot=True)# 使用交互式的 会话 启动一个图, 这样就可以在运行过程中加入一些计...原创 2018-07-12 19:00:47 · 807 阅读 · 0 评论 -
机器学习,几种学习速率衰减模式总结
在机器学习中,通常需要不断的通过优化器,优化以减小损失。在优化过程中,最经常用到的就是学习速率,也就是在通过梯度决定模型训练走向的时候所使用的一个总要参数。 在经过多次优化之后,会出现疑惑度不会降低, 此时主要是因为,学习速率过大导致模型不能够很好的进行收敛。这个时候需要做的就是,减小学习速率,促使模型收敛。也就是标题中提到的学习速率衰减。常见的学习速率衰减的几种模式:luong23...原创 2018-07-13 17:37:19 · 3530 阅读 · 0 评论 -
pytorch 入门--激活函数
激活函数:这里主要是介绍四种,sigmoid, relu, tanh, softplus代码如下:使用包的导入:import torchimport torch.nn.functional as Ffrom torch.autograd import Variableimport matplotlib.pyplot as plt模拟数据:# fake datax...原创 2018-07-27 11:02:06 · 1389 阅读 · 0 评论 -
pytorch 入门--简单神经网络
简单神经网络首先是包导入、数据生成:这里做的是线性的拟合,所以准备了一些数据,并定义了一个线性函数。# 导入文件import torch import torch.nn.functional as Fimport matplotlib.pyplot as plt# make datax = torch.unsqueeze(torch.linspace(-1, 1, 100...原创 2018-07-27 11:58:58 · 2115 阅读 · 1 评论 -
中英文分句
中英文分句这里主要是使用了两个包:pyltp 和 nltk安装过程省略,使用方式如下:import nltk # 英文分句from pyltp import SentenceSplitter # 中文分句s = "Since I was very small, I was very shy in the public place, so I always avoided g...原创 2018-09-04 17:33:06 · 1430 阅读 · 0 评论 -
tensor2tensor自定义问题,训练模型(bpe篇)
tensor2tensor自定义问题,训练模型上一篇:https://blog.csdn.net/hpulfc/article/details/81172498之前一篇文章简单介绍了如何使用 google 的SubwordTokenEncoder 进行编码 数据,并进行模型的训练。今天这里记录一下如何使用自定义数据的数据以bpe分词的方式进行模型的训练。后面有完整代码,节省时间直接看就能看...原创 2018-09-13 15:21:36 · 7001 阅读 · 7 评论 -
transformer 各个部分主要内容
自注意力详解:预处理:将数据输入进行嵌入, 得到嵌入向量 获取三个向量:嵌入向量 与 三个矩阵(训练中的出来的) 相乘 分别得到 query 向量、key 向量、value 向量。如图1 分数计算:将当前位置的 query 向量 与各个位置的 key 向量 进行相乘得到。表示当前位置单词与其他单词的相关程度。如图2 分数处理: 将分数除以 (key向量维数的平方根), 然后进行soft...原创 2018-10-25 18:31:32 · 922 阅读 · 0 评论 -
机器翻译小结
机器翻译小结 机器翻译主要是通过计算机将一种语言翻译到其他语言,也就是最基本的序列到序列的问题。传统的机器翻译主要是基于统计的机器翻译,一般能够在精确度上做的比较好,但是在译文流畅度上有很大的不足,往往是只是翻译出对应单词的意思而缺少句子的整体信息。近几年,出现了基于神经网络的机器翻译,在译文流畅度和精确度上均有较好的表现。目前,主流的神经网络翻译架构有 CNN(facebook)...原创 2018-11-06 10:48:53 · 4513 阅读 · 0 评论 -
机器学习中的张量(通俗优雅的理解)
机器学习中的张量(通俗优雅的理解) 这边博文主要是来自两篇文章,他们很好的帮助我理解了:什么是张量,机器学习中的张量的问题。首先是转载链接: 通俗的理解张量 tensorflow 中的tensor是什么 第一篇文章这叫是讲解了张量的基本概念,由浅入深的介绍了张量,总结一句话就是: 不随其他因素变化的用以表示世间万物的...原创 2018-07-02 16:38:12 · 8588 阅读 · 0 评论 -
attention计算过程解析(原理解析)
Attention attention 机制在最近的机器学习中应用广泛,并且在各个模型上都取得了良好成绩。尤其是在机器翻译中,训练出来的模型的翻译质量明显提高了一个层次。这里就简单的说一些attention的原理以及计算过程,主要是attention的计算过程的记录。 首先是基本的attention的计算过程:(这里是逆向解析的) 第一步:计算attention 这里的表...原创 2018-06-27 11:39:34 · 13220 阅读 · 4 评论 -
机器学习-反向传播算法
反向传播算法详细图文教程原创 2018-06-26 15:50:29 · 441 阅读 · 0 评论 -
机器学习,训练集,验证集和测试集的作用
机器学习,训练集,验证集和测试集的作用训练集(train)、验证集(validation)和测试集(test)的意义有监督的机器学习中,一般需要将样本分成独立的三部分训练集(train set),验证集(validation set)和测试集(test set)。其中训练集用来估计模型,验证集用来确定网络结构或者控制模型复杂程度的参数,而测试集则检验最终选择最优的模型的性能如何。训练集(train...转载 2018-05-02 11:32:25 · 3837 阅读 · 0 评论 -
机器学习超全术语 合集
机器学习术语表(当你看到这篇文章,你离机器学习只差一步的距离)经过不懈努力终于找到!!!!!!!!!!!!!!!!!!!!!!!!!!,,,, 点个赞,,,绝对值~!本术语表中列出了一般的机器学习术语和 TensorFlow 专用术语的定义。AA/B 测试 (A/B testing)一种统计方法,用于将两种或多种技术进行比较,通常是将当前采用的技术与新技术进行比较。A/B 测试不仅旨在确定哪种技术...转载 2018-05-02 15:37:00 · 2705 阅读 · 0 评论 -
基于DNN的情感分析模型
这里的寻来数据来自:train_url = 'https://storage.googleapis.com/mledu-datasets/sparse-data-embedding/train.tfrecord'train_path = tf.keras.utils.get_file(train_url.split('/')[-1], train_url)test_url = 'https:...原创 2018-05-11 16:16:16 · 1302 阅读 · 0 评论 -
接着上一篇 DNN情感分析模型
两个函数,一个是数据转换函数,一个是输入函数# 数据输入管道# 首先是数据转换函数# 重点理解和思考着函数def _parse_function(record): """Extracts features and labels. Args: record: File path to a TFRecord file Returns: A `tuple`...原创 2018-05-11 16:24:01 · 286 阅读 · 2 评论 -
机器学习 --名词解释(损失函数、正则、过拟合、欠拟合)
损失函数:https://blog.csdn.net/shenxiaoming77/article/details/51614601正则化:https://www.cnblogs.com/jianxinzhou/p/4083921.htmlTensorFlow 入门:http://www.tensorfly.cn/tfdoc/get_started/introduction.html...原创 2018-04-27 19:27:11 · 680 阅读 · 0 评论 -
注意力机制的基本思想和实现原理(很详细)
作者:张俊林链接:https://www.zhihu.com/question/68482809/answer/264632289来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。注意力模型最近几年在深度学习各个领域被广泛使用,无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中,都很容易遇到注意力模型的身影。所以,了解注意力机制的工作原理对于关注深度学习技术...转载 2018-05-25 10:56:01 · 203979 阅读 · 34 评论 -
注意力机制的基本思想和实现原理(很详细)(第二篇)
接上一篇:https://blog.csdn.net/hpulfc/article/details/80448570作者:张俊林链接:https://www.zhihu.com/question/68482809/answer/264632289来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。上述内容就是经典的Soft Attention模型的基本思想,那么怎么理解A...转载 2018-05-25 11:38:28 · 53036 阅读 · 15 评论 -
RNN和LSTM
RNN 中文分词、词性标注、命名实体识别、机器翻译、语音识别都属于序列挖掘的范畴。序列挖掘的特点就是某一步的输出不仅依赖于这一步的输入,还依赖于其他步的输入或输出。在序列挖掘领域传统的机器学习方法有HMM(Hidden Markov Model,隐马尔可夫模型)和CRF(Conditional Random Field,条件随机场),近年来又开始流行深度学习算法RNN(Recurrent Neur...转载 2018-06-11 15:30:10 · 3787 阅读 · 0 评论 -
一文读懂 CNN、DNN、RNN 内部网络结构区别
转自:chinabyte从广义上来说,NN(或是更美的DNN)确实可以认为包含了CNN、RNN这些具体的变种形式。在实际应用中,所谓的深度神经网络DNN,往往融合了多种已知的结构,包括卷积层或是LSTM单元。但是就题主的意思来看,这里的DNN应该特指全连接的神经元结构,并不包含卷积单元或是时间上的关联。因此,题主一定要将DNN、CNN、RNN等进行对比,也未尝不可。 其实,如果我们顺着神经网络技术...转载 2018-06-11 15:33:25 · 496 阅读 · 0 评论 -
NMT 忠实度提高的几个有效途径
机器翻译中常见问题解决方式最新的几个有效方式为:coverage, 引入覆盖率,解决漏翻和过翻问题,当然还要结合第三个方式context gate ,引入上下文缓存,保留上下文信息reconstruction, 对句子进行重构,补全口语中的缺省代词,对系统提供指导作用具体思想参考:涂兆鹏对话...原创 2018-06-11 15:44:16 · 560 阅读 · 0 评论 -
NMT的简洁实现(包含覆盖率、上下文、句子重构)
NMT的简洁实现(包含覆盖率、上下文、句子重构)原创 2018-06-11 16:08:25 · 885 阅读 · 0 评论 -
linux安装 tensorflow指定版本
这里是从清华的源进行指定安装的gpu版本,可根据需要改变版本号和类型pip install \ -i https://pypi.tuna.tsinghua.edu.cn/simple/ \ https://mirrors.tuna.tsinghua.edu.cn/tensorflow/linux/gpu/tensorflow_gpu-1.4.0-cp27-none-linux_x86_64...原创 2018-06-08 15:10:03 · 948 阅读 · 0 评论 -
Unable to determine the device handle for GPU 0000:02:00.0: GPU is lost. Reboot the sys
在使用tensor2tensor进行训练的时候,设置worker_gpu=4 (显卡总数为4),运行一会儿就会出现下面的情况:Unable to determine the device handle for GPU 0000:02:00.0: GPU is lost. Reboot the system to recover this GPU暂时还没查到原因,有查找的可以私信或是在评...原创 2018-06-15 18:36:28 · 13734 阅读 · 15 评论 -
如何使用tensor2tensor部署一个预测任务
之前有人说怎么将t2t的训练模型部署起来,其实不难!首先,是安装tensorflow-model-server 可以自行百度!然后进行下列操作:这里假设你已经有了训练好的t2t模型模型导出:t2t-exporter \ --t2t_usr_dir=$T2T_USR_DIR \ --model=$MODEL \ --hparams_set=$...原创 2018-12-10 14:37:24 · 1141 阅读 · 2 评论