DL
Van_Le
自然语言处理方向
展开
-
深度学习之tf.nn.embedding_lookup
对多维的ids进行look up 结果如下:原创 2018-05-19 09:42:40 · 656 阅读 · 1 评论 -
Batch normalization及其在tensorflow中的实现
Batch normalization(BN)BN是对输入的特征图进行标准化的操作,其公式为: xx - 原输入 x^x^ - 标准化后的输入 μμ - 一个batch中的均值 σ2σ2 - 一个batch中的方差 ϵϵ - 一个很小的数,防止除0 ββ - 中心偏移量(center) γγ - 缩放(scale)系数tensorflow中提供了三种BN方法:tf...转载 2018-09-30 16:15:07 · 307 阅读 · 0 评论 -
CRF原理图解
原创 2018-10-10 11:26:58 · 3236 阅读 · 0 评论 -
windows MX150安装CUDA,cudnn,tensorflow
放弃!截至2018年10月,tensorflow1.9并不支持CUDA9.2及其对应的cudnn,而mx150只能安装CUDA9.2,所以笔记本上还是放弃,别再入坑了。 如有解决方案欢迎留言:)...原创 2018-10-25 09:39:53 · 5611 阅读 · 5 评论 -
图片SVD-python code
#svdfrom PIL import Imageimport numpy as npdef rebuild_img(u, sigma, v, p): #p表示奇异值的百分比 m = len(u) n = len(v) A=np.zeros((m,n)) for i in range(int(len(sigma)*p)): #print(i)...原创 2018-11-22 10:17:45 · 409 阅读 · 0 评论 -
tensroflow:tf.sequence_mask
import tensorflow as tfwith tf.variable_scope('gg',reuse=tf.AUTO_REUSE): f=tf.placeholder(tf.int32,[None]) f_f=tf.to_float(f > 0) user_emb_w = tf.get_variable("user_emb_w", [2, 5]) ...原创 2018-11-23 18:32:02 · 402 阅读 · 0 评论 -
pandas dataframe入门教程
pandas_dataframe入门教程,dataframe的基础教程,供新手入门,老鸟复习/查阅。下载地址: https://download.csdn.net/download/wxf2012301351/10803817原创 2018-11-23 19:35:32 · 3435 阅读 · 0 评论 -
tensorflow collection
tensorflow collectiontensorflow的collection提供一个全局的存储机制,不会受到变量名生存空间的影响。一处保存,到处可取。接口介绍#向collection中存数据tf.Graph.add_to_collection(name, value)#Stores value in the collection with the given name....转载 2018-11-30 10:49:41 · 214 阅读 · 0 评论 -
tf.train.Saver
class tf.train.Saver保存和恢复变量最简单的保存和恢复模型的方法是使用tf.train.Saver 对象。构造器给graph 的所有变量,或是定义在列表里的变量,添加save 和 restore ops。saver 对象提供了方法来运行这些ops,定义检查点文件的读写路径。检查点是专门格式的二进制文件,将变量name 映射到 tensor value。检查checkp...转载 2018-11-30 11:57:01 · 342 阅读 · 0 评论 -
meta-learning论文求偏导验证(实践)
标题原创 2018-12-08 19:22:28 · 281 阅读 · 0 评论 -
矩阵求导完全解析!
更新:按维度一致求导: 主要思路:a)拆分;b)只考虑相关量(一)手动:1.使用拆分方法:2.实例验证:3.推广到普遍场景:(二)tensorfow代码验证:ps:实际的多过程中的矩阵相乘,使用矩阵的维度判断更加简单图中代码下载:下载地址...原创 2018-12-18 18:27:08 · 1713 阅读 · 1 评论 -
Word2vec tutorial-the skip gram &Word2Vec Tutorial Part 2 - Negative Sampling 文章讲解
Word2vec tutorial-the skip gram 1.总述: 创建一个简单的神经网络,一个输入层,一个隐藏层,一个输出层, 我们只需要得到有效的隐藏层的权重即可。 2.构建数据: 使用word pairs作为一个训练组(w1,w2) 输入一个单词,输出其上下文单词。 ...原创 2018-12-12 12:18:24 · 275 阅读 · 0 评论 -
数据处理常用api(更新中...)
1.读取词向量def getWordWeight(weightfile, a=1e-3): if a <=0: # when the parameter makes no sense, use unweighted a = 1.0 word2weight = {} with open(weightfile) as f: line...原创 2019-01-09 09:40:20 · 421 阅读 · 0 评论 -
DataFrame.groupby()简析
groupby分组函数: 返回值:返回重构格式的DataFrame,特别注意,groupby里面的字段内的数据重构后都会变成索引 groupby(),一般和sun()一起使用,如下例:from pandas import Series,DataFrame a=[['Li','男','PE',98.],['Li','男','MATH',60.],['liu','男','MATH',...转载 2018-09-30 11:57:39 · 51395 阅读 · 2 评论 -
词向量训练原理
参考:https://blog.csdn.net/itplus/article/details/37969817侵删转载 2018-10-12 20:15:37 · 1455 阅读 · 0 评论 -
CNN卷积示意
参考:https://blog.csdn.net/v_JULY_v/article/details/51812459侵删!转载 2018-10-11 17:04:52 · 884 阅读 · 0 评论 -
深度学习之“Transfer Learning”
代码:from keras.applications import ResNet50from keras.models import Sequentialfrom keras.layers import Dense, Flatten, GlobalAveragePooling2Dnum_classes = 2#classesresnet_weights_path = 'resnet50_...原创 2018-05-08 13:38:25 · 410 阅读 · 0 评论 -
深度学习之LSTM
转载 2018-06-26 11:28:20 · 494 阅读 · 0 评论 -
深度学习之beam search
转载 2018-06-27 10:46:01 · 731 阅读 · 0 评论 -
F1score
________________________________________________________________________________________________________F1 score是一个用来评价二元分类器的度量。先回顾一下它的计算公式: F1=21recall+1precision=2recall×precisionrecall+pre...转载 2018-08-22 10:18:04 · 7570 阅读 · 0 评论 -
hyperopt调参
from hyperopt import fmin, tpe, hp, STATUS_OK, Trials, space_evalimport numpy as npdef func(param_dict): loss=(param_dict['x'] ** 2 - 20 * param_dict['x']) ret = { "loss": loss, ...原创 2018-08-24 14:06:05 · 809 阅读 · 0 评论 -
笔记——让AI学会刨根问底和放飞自我,斯坦福最新问答数据集CoQA
20180911 分类:QA,数据集 让AI学会刨根问底和放飞自我,斯坦福最新问答数据集CoQA https://www.jiqizhixin.com/articles/2018-09-11-3正常方式QA方式: 我们通常以提问的方式来向别人求解或测试对方。然后根据对方的回答,我们会继续提问,然后他们又基于之前的讨论来回答。 虚拟助手的问题: 无法建立和维持这种问答方式是虚拟助手无...原创 2018-09-11 13:35:46 · 1131 阅读 · 0 评论 -
TensorFlow中的Nan值的陷阱
标签: tensorflow nan 分类: 深度学习 之前在TensorFlow中实现不同的神经网络,作为新手,发现经常会出现计算的loss中,出现Nan值的情况,总的来说,TensorFlow中出现Nan值的情况有两种,一种是在loss中计算后得到了Nan值,另一种是在更新网络权重等等数据的时候出现了Nan值,本文接下来,首先解决计算loss中得到Nan值的问题,随后介绍更新网络时,出现N...转载 2018-09-15 20:08:26 · 1367 阅读 · 0 评论 -
NN之tricks
输入数据: one-hot ,embedding optimizer:adam,monentumbatch:可以使用placeholder,在输入batch时,处理每个batch,而不是一次性全部放到内存中。原创 2018-09-17 09:21:57 · 128 阅读 · 0 评论 -
ValueError: GraphDef cannot be larger than 2GB.
solution: 不是用默认graph用例:import tensorflow as tfg1 = tf.Graph()with g1.as_default():c1 = tf.constant([1.0])with tf.Graph().as_default() as g2:c2 = tf.constant([2.0])with tf.Session(graph=g1) as...原创 2018-09-18 13:01:25 · 2636 阅读 · 0 评论 -
tensorflow学习笔记:sess.run()
session.run([fetch1, fetch2])关于 session.run([fetch1, fetch2]),请看http://stackoverflow.com/questions/42407611/how-tensorflow-handle-the-computional-graph-when-executing-sess-run/42408368?noredirect=1#c...转载 2018-09-25 20:06:25 · 1763 阅读 · 0 评论 -
early stopping
通过dev set测试train的loss,直至dev set的loss最小即停止,而early stopping.原创 2018-09-20 13:11:55 · 481 阅读 · 0 评论 -
attention的实质
# Attention(batch_size,1,max_length).dot(batch_size,max_legth,embedding_size)==(batch_size,1,embedding_size)原创 2019-04-28 19:00:21 · 385 阅读 · 0 评论