tensorflow
文章平均质量分 55
wang2008start
这个作者很懒,什么都没留下…
展开
-
用tensorflow改写个网络碰到的各种异常问题(数据集cifar)
用tf改写了个网络结构,这里没有使用keras,tflearn等,是自己手写的。网络结构参照他处的。训练的时候首先遇到的就是各种shape不匹配的问题,来来回回修改几次之后,把下面的几个主要用到的函数记录下来,这些设置或使用正确后,基本就没有什么问题了。各种网络结构都ok了。numpy.transposetrain_data = np.transpose(train_data, (3,原创 2017-04-28 15:12:17 · 2454 阅读 · 0 评论 -
Andrew-Coursera-DL课程-笔记part2-1(Practical aspects of Deep Learning)
Bias/VarianceRegularizing your neural network原创 2017-10-05 18:08:39 · 326 阅读 · 0 评论 -
Andrew-Coursera-DL课程-笔记part2-2(Optimization algorithms)
Mini-batch gradient descent Exponentially weight averages 加权的移动平均原创 2017-10-06 12:46:22 · 484 阅读 · 0 评论 -
Andrew-Coursera-DL课程-笔记part2-3(Hyperparameter tuning,Batch Normalization)
Hyperparameter tuningBatch Normalization原创 2017-10-06 12:50:08 · 962 阅读 · 0 评论 -
Collaborative Metric Learning——paper 笔记
Collaborative Metric Learning协同过滤(回顾和复习了CF,基于模型的CF是用矩阵分解实现的,loss为评分矩阵和新构建的评分矩阵的平方差,用梯度下降进行优化学习)。这里是主要提出了三角不等式(两对pairwise节点的距离之和大于这两个节点的直接距离,隐含:如果x相似与y和z,那么y和z本身也是相似的,相似传递性),在矩阵分解的基础上,使用pairwise格式的...原创 2018-07-23 22:35:23 · 1381 阅读 · 1 评论 -
word2vec doc2vec paragraph2vec topic2vec prodct2vec——paper 笔记
Distributed Representations of Words and Phrases and their Compositionality The Skip-gram Model Hierarchical Softmax Negative Sampling 高频词的子采样Distributed Representations of Sentences and Documents原创 2017-12-11 18:11:19 · 2136 阅读 · 1 评论 -
Attention is all your need——paper 笔记
去掉了 RNN 和 CNN ,直接用 encoder 和 decoder 的层与层之间直接使用 attention 机制,优点在于不需要 long-dependency 句子中的单词 dependency 长度最多只有1,减少了信息传输路径。 这种方式直接可以挖掘句子内部单词与单词的语义组合关系,将其作为一个语义整体,使得翻译时更好地利用单词组合甚至是短语的信息,更好地 decode ...原创 2018-08-16 12:16:54 · 443 阅读 · 0 评论 -
DNN for 推荐_biji
MLRDeep Neural Networks for YouTube Recommendations其实熟悉Skip-Gram方法的同学很容易看出来,2.1把推荐问题定义为“超大规模多分类”问题的数学公式和word2vec的Skip-Gram方法的公式基本相同,所不同的是user_vec是通过DNN学习到的,而引入DNN的好处则是任意的连续特征和离散特征可以很容易添加到模型当中。同样的,...原创 2019-07-08 17:59:57 · 590 阅读 · 0 评论 -
多目标学习_biji
Ref深度神经网络中的多任务学习汇总原创 2019-07-05 16:18:37 · 1209 阅读 · 0 评论 -
Memory Netwok_biji
传统的深度学习模型(RNN、LSTM、GRU等)使用hidden states或者Attention机制作为他们的记忆功能,但是这种方法产生的记忆太小了,无法精确记录一段话中所表达的全部内容,也就是在将输入编码成dense vectors的时候丢失了很多信息。所以本文就提出了一种可读写的外部记忆模块,并将其和inference组件联合训练...原创 2019-06-30 23:57:06 · 172 阅读 · 0 评论 -
Andrew-Coursera-DL课程-笔记part1-3(Deep neural networks)
Deep L-layer neural networkForward Propagation in a Deep NetworkWhy deep representationsBuilding blocks of deep neural networksForward and Backward Propagation原创 2017-10-06 15:27:22 · 276 阅读 · 0 评论 -
Andrew-Coursera-DL课程-笔记part1-2(Shallow neural networks)
Andrew-Coursera deeplearningNeural Network RepresentationVectorizing acorss multiple examplesExplanation for Vectorized ImplementationActivation functions原创 2017-10-06 13:26:17 · 225 阅读 · 0 评论 -
TFLearn Tutorials | TensorFlow入门
TFLearn是把常见的例子做了个抽象和封装,使用更加方便,对于学习tensorflow有很大帮助。网络结构包括Alexnet、VGGNet、Network in Network、Highway Network、Residual Network、GoogleNet、AutoEncoder等,使用数据集包括MNIST和CIFAR-10等,地址:TFLearn(https://github.com翻译 2017-04-27 15:36:50 · 4205 阅读 · 0 评论 -
TensorFlow的使用教程与案例
TensorFlow Examples 简单的TensorFlow入门资料,对于快速全面的认识和使用TensorFlow还是很有帮助的。 0 - Prerequisite Introduction to Machine LearningIntroduction to MNIST Dataset 1 - Introduction Hello Wo...翻译 2017-04-27 10:09:46 · 1387 阅读 · 0 评论 -
GPU版Tensorflow安装 centos7 64位
cuda安装1.uname -m && cat /etc/*release 2.gcc -version 3.wget http://developer.download.nvidia.com/compute/cuda/repos/rhel7/x86_64/cuda-repo-rhel7-7.0-28.x86_64.rpm ( RPM是RedhatPackageManager的缩写,是由Re原创 2017-05-07 12:58:10 · 7378 阅读 · 0 评论 -
#自动写剧本#深度网络结构
初始化网络 def get_init_cell(batch_size, rnn_size): lstm = tf.contrib.rnn.BasicLSTMCell(rnn_size) cell = tf.contrib.rnn.MultiRNNCell([lstm] * 5) initial_state = cell.zero_state原创 2017-07-31 15:54:16 · 1331 阅读 · 0 评论 -
tensorflow各版本间踩过的坑
问题一:TypeError: Expected int32, got list containing Tensors of type ‘_Message’ instead.tensorflow 函数tf.cocat([fw,bw],2)出错:Expected int32, got list containing Tensors of type ‘_Message’ inst 查看原因是11版本的函原创 2017-05-10 11:38:55 · 23368 阅读 · 5 评论 -
nvidia-smi GPU驱动安装后使用率很高
新安装了nvidia tesla M40的驱动,完全按照官网文章安装,安装完成后使用nvidia-smi,发现gpu使用率很高,网上找了资料,重启后也不行,还是很高,最后终于找到了解决方法:需要把驱动模式设置为常驻内存才可以,设置命令:nvidia-smi -pm 1设置完后再用nvidia-smi看下,本人实验已正常,happy~~~原创 2017-08-02 17:53:27 · 4357 阅读 · 0 评论 -
SSLError: [Errno 1] _ssl.c:504: error:14090086:SSL routines:SSL3_GET_SERVER_CERTIFICATE:certificate
安装tensorflowGPU版本时遇到的问题SSLError: [Errno 1] _ssl.c:504: error:14090086:SSL routines:SSL3_GET_SERVER_CERTIFICATE:certificate verify f证书过期pip版本查看安装urllib3原创 2017-08-03 10:06:56 · 4986 阅读 · 0 评论 -
tensorflow模型save和restore
把tensorflow每个阶段训练的模型进行保存,供后面预测或者进一步训练时使用。保存的时候使用saver.save()方法,恢复的时候使用saver.restore方法。详细如下:初始信息flags.DEFINE_integer('epochs', 100, '') #FLAGS.epochsflags.DEFINE_integer('display_steps', 10, 'Number of原创 2017-09-28 16:26:09 · 893 阅读 · 0 评论 -
生成对抗网络GAN损失函数Loss的计算
损失函数的计算辨别器对假数据的损失原理相同,最终达到的目标是对于所有的真实图片,输出为1;对于所有的假图片,输出为0。 生成器的目标是愚弄辨别器蒙混过关,需要达到的目标是对于生成的图片,输出为1.`d_loss_real = tf.reduce_mean( tf.nn.sigmoid_cross_entropy_with_logits(logits=d_log原创 2017-07-31 15:24:07 · 33621 阅读 · 4 评论 -
Andrew-Coursera-DL课程-笔记part1-1(Neural Networks Basics)
Andrew-coursera deeplearningNeural Networks and Deep LearningIntroduction to deep learningWhat is a neural networkSupervised Learning with Neural NetworksWhy is Deep Learning taking off?原创 2017-10-05 18:06:38 · 238 阅读 · 0 评论 -
GCN(Graph Convolutional Network)——总结
Graph Convolutional Network对于图结构,不采用将图结构转换成线性结构表示。直接对图结构进行表示。CNN处理的图像或者视频数据中像素点(pixel)是排列成很整齐的矩阵(Euclidean Structure)。网络结构(Non Euclidean Structure)就是图论中抽象意义上的拓扑图。GCN 主要技术:拉普拉斯矩阵拉普拉斯矩阵谱分解GCN 的逻辑:...原创 2019-07-23 23:09:23 · 2116 阅读 · 0 评论