Deep Learning
文章平均质量分 71
taolusi
联系方式:taolusi@163.com,一般不太看评论,欢迎来信交流。
展开
-
Greedy search与beam search
最近在看End-to-end Relation Extraction using LSTMs on Sequences and Tree Structures这篇文章时,看到此文在Entity detection中用到了greedy search与beam search。内容转自:https://github.com/fengdu78/deeplearning_ai_books (黄海广为Andr...转载 2018-07-17 09:47:28 · 3948 阅读 · 0 评论 -
tensorflow中tf.nn.embedding_lookup的用法
转自:STHSF embedding_lookup( )的用法 关于tensorflow中embedding_lookup( )的用法,在Udacity的word2vec会涉及到,本文将通俗的进行解释。首先看一段网上的简单代码:#!/usr/bin/env/python# coding=utf-8imp...转载 2018-07-26 21:00:33 · 1593 阅读 · 0 评论 -
tensorflow 获得tensor的维度信息,tf.shape()与 a.get_shape()的比较
转自:不知道哪里和yychenxie21相同点:都可以得到tensor a的尺寸 不同点:tf.shape()中a 数据的类型可以是tensor, list, array a.get_shape()中a的数据类型只能是tensor,且返回的是一个元组(tuple) 注意到tf.shape(a)返回的是一个OP需要再sess.run(),而a.get_shape()得到一个实际的元组。...转载 2018-07-26 21:41:00 · 4657 阅读 · 0 评论 -
tensorflow中的tf.nn.bidirectional_dynamic_rnn
转自:Yu Li 写在前面最近在做一些自然语言处理demo的时候遇到了双向RNN,里面的bidirectional_dynamic_rnn和static_bidirectional_rnn还是值得理解下的,故记录下自己的学习心得。 双向RNNs双向RNNs模型是RNN的扩展模型,RNN模型在处理序列模型的学习上主要是依靠上文的信息,双向RNNs模型认为模型的输出不仅仅依靠序列前面的元素,后面的...转载 2018-07-27 10:03:03 · 5029 阅读 · 1 评论 -
tensorflow中的tf.session.run()
转自:huahuanzhu1函数参数run( fetches, feed_dict=None, options=None, run_metadata=None)tf.Session.run() 执行 fetches中的操作,计算 fetches 中的张量值。这个函数执行一步...转载 2018-07-27 11:41:45 · 10877 阅读 · 0 评论 -
机器学习中的模型评估与选择
转自:[香草_冰激凌](https://www.jianshu.com/p/d01992f6aaf0) 错误率(error rate): 分类错误样本数占样本总数的比例, E=a/m精度(accuracy):= 1 - 错误率, 1-a/m误差:学习器实际预测输入 VS 样本真实输出训练误差(training error)/经验误差(empi...转载 2018-07-31 10:09:14 · 1153 阅读 · 0 评论 -
机器学习分类效果评价
转自:彷徨的石头 一个分类器最主要的评测指标就是查准率(正确率)和查全率(召回率)。为了评价二分分类问题的性能,先做以下约定: a:正例测试文档被正确分类...转载 2018-07-31 15:28:02 · 1134 阅读 · 1 评论 -
tensorflow中的tf.expand_dims和tf.squeeze函数
转自:龙骨 tf.expand_dims()Functiontf.expand_dims(input, axis=None, name=None, dim=None)Inserts a dimension of 1 into a tensor’s shape. 在第axis位...转载 2018-07-27 20:15:16 · 911 阅读 · 0 评论 -
tensorflow中的tf.tile
转自:FesianXu tf.tile()进行张量扩展tf.tile()应用于需要张量扩展的场景,具体说来就是: 如果现有一个形状如[width, height]的张量,需要得到一个基于原张量的,形状如[batch_size,width,height]的张量,其中每一个batch的内容都和原张量一模一样。tf.ti...转载 2018-07-27 20:26:17 · 267 阅读 · 0 评论 -
pytorch manual_seed()
训练神经网络的训练主要包含以下语句:if cuda: model.cuda()model.train()#把模型的状态设置为训练状态,主要针对Dropout层optimizer = torch.optim.SGD((model.parameters(), lr=lr, momentum=momentum))for epoch in ...转载 2018-10-19 14:53:06 · 4003 阅读 · 0 评论 -
pytorch使用指定GPU
转自:darkknightzh PyTorch默认使用从0开始的GPU,如果GPU0正在运行程序,需要指定其他GPU。有如下两种方法来指定需要使用的GPU。1. 类似tensorflow指定GPU的方式,使用CUDA_VISIBLE_DEVICES。1.1 直接终端中设定:CUDA_VISIBLE_DEVICES=1 python my_script.py1.2 py...转载 2018-10-19 15:01:03 · 8416 阅读 · 0 评论 -
PyTorch 常用方法总结1:生成随机数Tensor的方法汇总(标准分布、正态分布……)
转自:集智学园在使用PyTorch做实验时经常会用到生成随机数Tensor的方法,比如:torch.rand()torch.randn()torch.normal()torch.linespace()在很长一段时间里我都没有区分这些方法生成的随机数究竟有什么不同,由此在做实验的时候经常会引起一些莫名其妙的麻烦。所以在此做一个总结,以供大家阅读区分,不要重蹈我的覆辙。均匀分布torch.rand(...转载 2018-10-23 16:19:16 · 3724 阅读 · 0 评论 -
tensorflow中tf.placeholder和tf.Variable的区别
转自:Inside_Zhang 二者的主要区别在于:tf.Variable:主要在于一些可训练变量(trainable variables),比如模型的权重(weights,W)或者偏执值(bias);声明时,必须提供初始值;名称的真实含义,在于变量,也即在真实训练时,其值是会改变的,自然事先需要指定初始...转载 2018-07-26 20:58:18 · 490 阅读 · 0 评论 -
tensorflow中的scope命名方法:name_scope, variavle_scope
转自:知乎回答:tensorflow里面name_scope, variable_scope等如何理解?1在训练深度网络时,为了减少需要训练参数的个数(比如具有simase结构的LSTM模型)、或是多机多卡并行化训练大数据大模型(比如数据并行化)等情况时,往往需要共享变量。另外一方面是当一个深度学习模型变得非常复杂的时候,往往存在大量的变量和操作,如何避免这些变量名和操作名的唯一不重复...转载 2018-07-26 17:31:46 · 1144 阅读 · 0 评论 -
CMakeLists(LSTM-ER-master/relation)
1 PROJECT(cnn:relation)2 CMAKE_MINIMUM_REQUIRED(VERSION 2.8)3 4 ADD_EXECUTABLE(RelationExtraction RelationExtraction.cpp Document.cpp Parameter.cpp RelLstmModel.cpp Table.cpp cnn/deptreelstm.cc cn...原创 2018-07-01 15:36:00 · 109 阅读 · 0 评论 -
CMakeLists(LSTM-ER-master/cnn/cnn)
1 # ########## cnn library ########## 2 # Sources: 3 set(cnn_library_SRCS 4 cnn.cc 5 conv.cc 6 deep-lstm.cc 7 dict.cc 8 dim.cc 9 exec.cc 10 expr.cc 11 ...原创 2018-07-01 15:26:00 · 298 阅读 · 0 评论 -
各种预训练的词向量(Pretrained Word Embeddings)
转自:SevenBlueEnglish Corpusword2vecPre-trained vectors trained on part of Google News dataset (about 100 billion words). The model contains 300-dimensional vectors for 3 million words and phrases...转载 2018-07-01 10:43:00 · 5767 阅读 · 0 评论 -
从README.md开始
Requirements*Fedora Core 22(基于Red Hat Linux)*clang++ 3.4(Linux 下常用的 C/C++ 编译器,了解一下,clang++的安装看这里)*boost 1.57(拓展的C++程序库,了解一下,boost的安装看这里)*yaml-cpp 0.5.1(C++下yaml的解析包,yaml了解一下,yaml-cpp了解一下,yaml-...原创 2018-06-29 17:33:00 · 194 阅读 · 0 评论 -
CMakeLists(LSTM-ER-master)
1 project(cnn) 2 cmake_minimum_required(VERSION 2.8 FATAL_ERROR) 3 4 set(CMAKE_MODULE_PATH ${PROJECT_SOURCE_DIR}/cmake) 5 set(CMAKE_CXX_FLAGS "-Wall -O2 -std=c++11 -g") 6 7 enable_testing()...原创 2018-06-29 17:32:00 · 152 阅读 · 0 评论 -
TensorFlow使用gpu
1 安装对应版本的CUDA、cuDNN和tensorflow使用支持gpu的tensorflow的前提是安装了正确版本的CUDA和cuDNN。 关于CUDA和cuDNN的安装可以参考NVIDIA官网和网上各种安装教程,在此不再赘述。本文想要强调的重点是要安装支持自己的GPU的版本,然后根据CUDA版本安装正确版本的cuDNN,最后根据安装的CUDA和cuDNN的版本选择正确的tensor...原创 2018-07-18 12:51:27 · 23057 阅读 · 0 评论 -
深度学习超参数简单理解:learning rate,weight decay和momentum
转自:EdisonGzq说到这些参数就会想到Stochastic Gradient Descent (SGD)!其实这些参数在caffe.proto中 对caffe网络中出现的各项参数做了详细的解释。Learning Rate 学习率决定了权值更新的速度,设置得太大会使结果超过最优值,太小会使下降速度过慢。仅靠人为干预调整参数需要不断修改学习率,因此后面3种参数都是基于自适应的思...转载 2018-07-24 11:48:14 · 544 阅读 · 0 评论 -
梯度爆炸的解决办法:clip gradient
转自:u010814042 1.梯度爆炸的影响在一个只有一个隐藏节点的网络中,损失函数和权值w偏置b构成error surface,其中有一堵墙,如下所示   损失函数每次迭代都是每次一小步,但是当遇到这堵墙时,在墙上的某点计算梯度,梯度会瞬间增大,指向某处不理想的位置。如果我们使用缩放,可以把误导...转载 2018-07-24 11:50:24 · 1236 阅读 · 0 评论 -
关于CNN(C++ neural network)的代码的一些解释
CNN(C++ neural network library)作为dynet的前身,估计已经没人在用了,不过由于需要复现的论文release出的代码就是用的cnn,所以就在此记录学习一下。转自:张诗悦...转载 2018-07-24 20:22:52 · 2522 阅读 · 0 评论 -
dynet的一个基本介绍(1):动态神经网络工具包Dynet
转自:企鹅号基于诸如 TensorFlow 等几种流行工具包的编程模型使用的是静态声明方法,这些工具包将网络架构的声明和执行进行了分离。静态声明优点众多。在定义了计算图后,我们可以通过多种方式对其进行优化,以便尽可能快地完成后续的重复执行计算。而且,以在 TensorFlow 中的应用为例,静态声明也简化了跨多个设备的计算分布。但即便如此,静态声明在以下几种情况下依旧有不便之处。可变大小的输入...转载 2018-07-24 20:26:10 · 4721 阅读 · 0 评论 -
dynet的一个基本介绍(2):动态神经网络工具包DyNet:比Theano和TensorFlow更快
转自:机器之心:动态神经网络工具包DyNet:比Theano和TensorFlow更快转载 2018-07-24 20:44:43 · 1784 阅读 · 0 评论 -
tf.device()指定tensorflow运行的GPU或CPU设备
转自:牧野 在tensorflow中,我们可以使用 tf.device() 指定模型运行的具体设备,可以指定运行在GPU还是CUP上,以及哪块GPU上。设置使用GPU使用 tf.device('/gpu:1') 指定Session在第二块GPU上运行:import tensorflow as tf with tf.device('/gpu:1'): v1 =...转载 2019-04-11 15:38:36 · 1286 阅读 · 1 评论