![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
零落_World
https://github.com/cdj0311
展开
-
Keras求Mask后的Embedding均值
记录下,用tensorflow很容易实现,但Keras稍微麻烦点,基本思路就是先标记出输入序列中0和非0得到这样的序列:mask=[0,0,1,1,1],其中0代表padding或者需要排除计算的位置,然后用这个序列跟Embedding结果进行乘积,将Embedding对应输入为0的向量置0,最后统计非0 位置向量的和除以mask的和即可。代码如下:import numpy as npimport keras.backend as Kfrom keras.layers import...原创 2022-05-04 16:26:08 · 1034 阅读 · 0 评论 -
tensorflow定义多个优化器加速Embedding的训练
在遇到大规模推荐算法训练时,我们常常会有不同种类的特征,大体上可分为稀疏特征和稠密特征两类。稀疏特征一般会经过Embedding转为稠密特征再传入全连接层。然而,当稀疏特征中包含大量ID类特征时,由于其原始维度非常高(如UserID几乎都是千万级以上),训练如此庞大的Embedding时会非常缓慢。一种解决方案是增大学习率,但学习率过大又会影响稠密特征(如一些向量特征)的训练,所以可以设计两个优化器分别以不同的学习率去优化稀疏Embedding和稠密特征。这里以tf.estimator + tf.f原创 2020-07-10 11:13:32 · 2812 阅读 · 1 评论 -
多任务学习在推荐算法中的应用
转载自:https://blog.csdn.net/hellozhxy/article/details/103979929转载 2020-07-07 15:54:09 · 213 阅读 · 0 评论 -
从FM推演各深度CTR预估模型(附代码)
转载自:https://blog.csdn.net/longxinchen_ml/article/details/81031736转载 2020-07-01 14:46:59 · 254 阅读 · 0 评论 -
利用predictor预测tensorflow导出的pb模型
导出的pb模型可使用tf.contrib.predictor很方便的进行预测,仅限于tensorflow 1.x,代码如下:import numpy as npimport tensorflow as tffrom tensorflow.contrib import predictor# 加载模型,使用estimator导出的模型、tf.saved_model保存的模型都可以使用该...原创 2020-05-08 11:47:17 · 2064 阅读 · 0 评论 -
利用hadoop streaming分布式生成TFRecord文件
原理:在集群上每个机器生成TFRecord文件然后推送到指定的HDFS位置,并删除源TFRecord(这步可以不用,会自动删除)。1. map阶段import sys, randomsys.path.append("./")# 产生随机数,用以shuffle数据# 如果输入的rcfile格式的文件,则需要删除下标0的数据for line in sys.stdin: lin...原创 2020-05-08 11:36:48 · 983 阅读 · 0 评论 -
利用tensorflow estimator API实现双塔推荐算法
Tensorflow estimator实现分布式训练很简单,只需要将数据进行相应的切分丢给模型就可以很方便的完成分布式训练了。以下代码是一个完整的推荐算法模板,可根据自己的需要修改数据读取和模型结构部分,tensorflow==1.13.1。1. 特征处理部分,feature_processing.py#coding:utf-8import tensorflow as tffrom...原创 2020-05-06 16:21:17 · 2323 阅读 · 2 评论 -
利用tf.saved_model导出keras模型
keras一般保存为h5py格式的模型,当然也可以直接使用tf.saved_model保存为pb模型,那如果想将保存的h5py模型导出为pb模型该怎么办呢?以下代码就可以完成该项功能。假设我们保存了keras的模型为model.json(结构)和weights.h5(权重),首先读取keras模型:# tensorflow == 1.13.1import tensorflow as...原创 2020-05-06 15:30:50 · 2204 阅读 · 3 评论 -
利用tensorboard查看pb模型图
1. 模型图和参数全保存在一个pb文件里(即freeze出来的模型),查看模型图代码如下:import tensorflow as tfwith tf.Session() as sess: model_filename ='model/freezon.pb' with tf.gfile.GFile(model_filename, 'rb') as f: gr...原创 2020-04-29 10:39:59 · 2894 阅读 · 1 评论 -
利用小trick加速tensorflow的训练
tensorflow ==1.13.11. tf.data并行读取tfrecord数据def parse_exp(example): features = {} """ tfrecord解析代码 """ return featuresdef input_fn(filenames = "./train_data/*.tfrecord", batch_size=1...原创 2020-04-15 11:31:37 · 355 阅读 · 0 评论 -
利用hadoop streaming对tensorflow模型进行分布式预测
0. python打包并上传到hdfs# 安装Pythonmkdir Pythonexport PYTHON_ROOT=~/Pythontar -xvf Python-3.6.8.tgzpushd Python-3.6.8./configure --prefix="{PYTHON_ROOT}" --enable-unicode=cs4make && make in...原创 2019-12-16 18:52:12 · 1298 阅读 · 1 评论 -
推荐系统遇上深度学习(十八)--探秘阿里之深度兴趣网络(DIN)浅析及实现
推荐系统遇上深度学习系列:推荐系统遇上深度学习(一)--FM模型理论和实践推荐系统遇上深度学习(二)--FFM模型理论和实践推荐系统遇上深度学习(三)--DeepFM模型理论和实践推荐系统遇上深度学习(四)--多值离散特征的embedding解决方案推荐系统遇上深度学习(五)--Deep&Cross Network模型理论和实践推荐系统遇上深度学习(六)--PNN模...转载 2019-04-12 17:10:54 · 834 阅读 · 0 评论 -
Linux无root权限安装cuda9.1和cudnn7.05以及编译框架时无lcuda.so的问题
转载自:https://blog.csdn.net/Cowry5/article/details/80630037无root权限centos 7cuda 9.1cudnn 7.05 for cuda 9.11 下载安装cudacuda下载 https://developer.nvidia.com/cuda-downloads.在选择linux及对应的系统之后,选择 runfile...转载 2019-03-05 15:14:32 · 445 阅读 · 0 评论 -
anaconda4.5在centos7环境下tensorflow-gpu1.10+cuda8.0+cudnn6
pip安装tensorflow1.5以后版本默认需要cuda9支持,但是我的服务器只安装了cuda8+cudnn6,要么用源码安装,要么用anaconda安装,这里记录下用anaconda安装tf。1.conda create -n tensorflow pip python=3.6在anaconda中创建一个新环境(虚拟环境)2.source anaconda/bin/activat...原创 2018-10-15 18:51:16 · 515 阅读 · 0 评论 -
TensorFlow和Keras解决大数据量内存溢出问题
转载自:https://blog.csdn.net/liukx940818/article/details/80168574内存溢出问题是参加kaggle比赛或者做大数据量实验的第一个拦路虎。以前做的练手小项目导致新手产生一个惯性思维——读取训练集图片的时候把所有图读到内存中,然后分批训练。其实这是有问题的,很容易导致OOM。现在内存一般16G,而训练集图片通常是上万张,而且RGB图,...转载 2018-09-01 11:49:48 · 2105 阅读 · 1 评论 -
golang调用tensorflow/keras训练的模型
1. 安装tensorflow和golang(参考https://tensorflow.google.cn/install/install_go)2. python训练模型,这里以keras example的imdb_cnn.py为例:# coding:utf-8import tensorflow as tffrom keras.models import Sequential...原创 2018-08-17 11:13:21 · 10857 阅读 · 7 评论 -
注意力机制(Attention Mechanism)在自然语言处理中的应用
转载自:http://www.cnblogs.com/robert-dlut/p/5952032.html近年来,深度学习的研究越来越深入,在各个领域也都获得了不少突破性的进展。基于注意力(attention)机制的神经网络成为了最近神经网络研究的一个热点,本人最近也学习了一些基于attention机制的神经网络在自然语言处理(NLP)领域的论文,现在来对attention在NLP中的转载 2017-01-01 12:06:41 · 935 阅读 · 0 评论 -
Kaldi运行timit语音库的部分结果与问题
使用Kaldi运行了timit的S5实例,只运行到了“tri3 : LDA + MLLT + SAT Training & Decoding”这一步,后面的"SGMM2”,"MMI+SGMM2","DNN + SGMM2"都没有运行成功,原因是在跑SGMM2的时候可能是由于机器配置不够,导致资源消耗完,就卡住了。原创 2014-01-12 16:27:22 · 3086 阅读 · 1 评论 -
Kaldi运行timit实例记录与结果
将运行Kaldi上timit实例的一些注意事项及结果贴出来win7+ubuntu12.10双系统CPU: i7-2600内存:8G显卡:AMD Radeon HD6450修改:path.sh: KALDI_ROOT=/home/cdj/kaldi-trunk修改:cmd.sh: 使用c部分修改run.sh的MMI+SGMM2阶段的参数: 将--zero-if-dis原创 2014-03-17 19:59:23 · 6023 阅读 · 3 评论 -
LSTM实现详解
前言在很长一段时间里,我一直忙于寻找一个实现LSTM网络的好教程。它们似乎很复杂,而且在此之前我从来没有使用它们做过任何东西。在互联网上快速搜索并没有什么帮助,因为我找到的都是一些幻灯片。幸运地是,我参加了Kaggle EEG 竞赛,而且我认为使用LSTM很有意思,最后还理解了它的工作原理。这篇文章基于我的解决方案,使用的是Andrej Karpathy的char-rnn代码,转载 2015-09-15 14:05:58 · 3296 阅读 · 0 评论 -
卷积神经网络(CNN)在句子建模上的应用
转载:http://www.jeyzhang.com/cnn-apply-on-modelling-sentence.html之前的博文已经介绍了CNN的基本原理,本文将大概总结一下最近CNN在NLP中的句子建模(或者句子表示)方面的应用情况,主要阅读了以下的文献:Kim Y. Convolutional neural networks for sentence classific转载 2016-05-27 15:49:49 · 3289 阅读 · 0 评论 -
keras基于theano和tensorflow训练的模型相互转换
from keras import backend as Kfrom keras.utils.np_utils import convert_kernelfrom text_classifier import keras_text_classifierimport sysdef th2tf( model): import tensorflow as tf ops = []原创 2016-10-25 09:55:30 · 6110 阅读 · 3 评论 -
深度学习theano/tensorflow多显卡多人使用问题集
深度学习theano/tensorflow多显卡多人使用问题集转载自:https://zhuanlan.zhihu.com/p/23250782其实一直想写这篇东西,今天还是抽空系统整理一下吧。深度学习在实验环境通常会再一台主机安装多张显卡,既可以满足多人使用,也可以运行部分分布式任务。例如我这里一台主机安装了3块980Ti显卡(虽然做了SLI但实际在深度学习用不着,其转载 2016-10-31 16:04:32 · 18059 阅读 · 2 评论 -
Dialog System 总结
转自:http://blog.csdn.net/abcjennifer/article/details/53428053本文包括对话系统分类、数据汇总、和一些目前对话系统paper的总结、评价。 以下paper的“一句话评论”均为个人观念,评价标准苛刻,也有可能夸大了论文的缺点,希望与持不同意见的各位有识之士共同讨论。对话系统分类DataPapersNeur转载 2016-12-14 14:16:06 · 2051 阅读 · 0 评论 -
【中文分词系列】 4. 基于双向LSTM的seq2seq字标注
转载:https://spaces.ac.cn/archives/3924/关于字标注法上一篇文章谈到了分词的字标注法。要注意字标注法是很有潜力的,要不然它也不会在公开测试中取得最优的成绩了。在我看来,字标注法有效有两个主要的原因,第一个原因是它将分词问题变成了一个序列标注问题,而且这个标注是对齐的,也就是输入的字跟输出的标签是一一对应的,这在序列标注中是一个比较成熟的问题;第二个转载 2016-12-27 10:28:21 · 2596 阅读 · 0 评论 -
【中文分词系列】 5. 基于语言模型的无监督分词
迄今为止,前四篇文章已经介绍了分词的若干思路,其中有基于最大概率的查词典方法、基于HMM或LSTM的字标注方法等。这些都是已有的研究方法了,笔者所做的就只是总结工作而已。查词典方法和字标注各有各的好处,我一直在想,能不能给出一种只需要大规模语料来训练的无监督分词模型呢?也就是说,怎么切分,应该是由语料来决定的,跟语言本身没关系。说白了,只要足够多语料,就可以告诉我们怎么分词。看上去很完美,转载 2016-12-27 10:56:23 · 8215 阅读 · 0 评论