自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 tf.one_hot()使用

tf.one_hot在看conditionGAN的时候注意到label的输入要把它转换成one-hot形式,再与噪声z进行tf.concat输入,之前看的时候忽略了,现在再看才算明白为什么。tf.one_hot( indices,#输入,这里是一维的 depth,# one hot...

2017-10-11 19:41:11 24680 4

原创 pycharm运行时提示lib9.0so不存在,xshell下可以运行

pycharm运行时提示lib9.0so不存在,xshell下可以运行,多半是环境变量问题,按照网上搜索的加了7.0和9.0的环境变量。

2020-06-13 13:20:11 39 0

原创 python查看编码格式

python查看编码格式 import chardet print chardet.detect(data) #以监测到的编码格式进行解码 logger.info(data.decode(chardet.detect(i)['encoding']))

2020-05-13 10:05:24 62 0

原创 阅读论文翻译记录[Improving Multi-turn Dialogue Modelling with Utterance ReWriter]

—————————————————————————————————————— 论文地址:https://www.aclweb.org/anthology/P19-1003 前言:论文主要用来指导多轮交互如何进行指代消解和重写补全,在闲聊机器人和任务型机器人中都有很大的作用。 涉及到的NLP知识...

2019-09-01 20:20:05 602 1

原创 anaconda3+tensorflow1.2gpu

1、从官网下载anaconda3 linux https://www.anaconda.com/download/#linux 终端运行 bash Anaconda3-5.2.0-Linux-x86_64 然后就是一直yes,记得添加环境变量也是yes。 vim ~/.bashrc ...

2018-08-24 09:13:10 255 0

原创 Teach_student

一、背景及需求:多模型—>单模型 原始bagging5个模型 每个模型的F1值: 多模型融合效果: 现在是要把5个模型通过T-S生成1个模型。 二、T-S简介 三、实现 首先是从已知的模型中取出loss,这里需要重新run graph,命名空间很重要,...

2018-08-07 15:50:47 218 0

原创 Boost NN与bagging实验对比

一、Boost     Boosting算法是将“弱学习算法“提升为“强学习算法”的过程,主要思想是“三个臭皮匠顶个诸葛亮”。一般来说,找到弱学习算法要相对容易一些,然后通过反复学习得到一系列...

2018-08-01 15:27:23 376 0

原创 selfattention记录

一、Hierarchical Attention用于文本分类 接下来我们介绍一下本篇文章的模型架构,其实主要的思想和上面的差不多,也是分层构建只不过加上了两个Attention层,用于分别对句子和文档中的单词、句子的重要性进行建模。其主要思想是,首先考虑文档的分层结构:单词构成句子,句子构成文档...

2018-07-14 15:59:15 1823 0

转载 Highway Network

转载自https://blog.csdn.net/qq_32782339/article/details/78877908 Highway Network主要解决的问题是,网络深度加深,梯度信息回流受阻造成网络训练困难的问题。 假设定义一个非线性变换为 H(x,WH)H(x,WH)H(x,W_...

2018-07-08 23:15:46 900 0

原创 window7+python2.7安装scrapy

1,看直接pip install scrapy行不行 报错。转2 2.安装lxml https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml 首先查下自己电脑装的版本: import pip print(pip.pep425tags.get_s...

2018-05-30 17:28:18 292 0

原创 记录5.25

json学习 https://blog.csdn.net/Eflyings/article/details/51201892 https://baike.baidu.com/item/JSON/2462549?fr=aladdin http://www.runoob.com/python/p...

2018-05-30 17:13:45 99 0

原创 机器学习与深度学习记录

不平衡数据下的机器学习方法简介 半监督学习中的协同学习 不平衡数据下的机器学习方法简介 https://www.jianshu.com/p/3e8b9f2764c8 半监督学习中的协同学习 http://lamda.nju.edu.cn/huangsj/dm11/files/gao...

2018-05-13 21:21:28 274 0

原创 word2vec实现cbow和skip-gram

word2vec实现cbow和skip-gram skip-gram cbow 1.CBOW实现 """ 学习参考: http://www.hankcs.com/ml/cbow-word2vec.html https://blog.csdn.ne...

2018-05-07 11:49:33 554 0

原创 batchrenorm代码

class batch_renorm(): def __init__(self, n_out,renorm_momentum=0.97, RMAX=1, DMAX=0,epsilon=1e-3): self.n_out = n_out ...

2018-05-03 11:01:18 127 0

原创 感知野理解及其计算方法

感知野多用于目标识别,没看过这方面论文和工作,所以理解出错希望大家可以立刻指正。 感知野定义: 在卷积神经网络中,感受野的定义是卷积神经网络每一层输出的特征图(feature map)上的像素点在原始图像上映射的区域大小。 看图理解: 上图左边5*5 (kernel_size k...

2018-04-14 20:24:46 2190 0

转载 word2vec

关于word2vec的学习之路1 转载自http://www.cnblogs.com/peghoty/p/3857839.html ...

2018-04-13 21:34:09 151 0

原创 《NLP汉语自然语言处理原理与实践》郑捷书中代码

《NLP汉语自然语言处理原理与实践》郑捷代码,找了一会,方便大家: http://www.threedweb.cn/data/attachment/bigupload/NLPBook.zip 另,推荐宗成庆老师的《统计自然语言处理》,写的很好,引用文献很多,作者功底很深。...

2018-04-10 20:17:16 1166 6

转载 准确率和召回率(precision&recall)

在机器学习、推荐系统、信息检索、自然语言处理、多媒体视觉等领域,经常会用到准确率(precision)、召回率(recall)、F-measure、F1-score 来评价算法的准确性。 一、准确率和召回率(P&R) 以文本检索为例,先看下图 其中,黑框表示检索域,我们从...

2018-04-03 22:42:58 410 0

原创 BN实现

这样应该是最接近我对论文的理解写出的bn代码,如果有问题,欢迎指正。 def batch_norm(x, n_out,train, eps=1e-05, decay=0.99,affine=True, name=None): with tf.variable_scope(name,...

2018-03-28 22:01:41 795 0

原创 python中set(a)-set(b)

set中元素是唯一,无序,不可改变的,不过可以为集合添加或删除元素(x.add()) 这里只说set(a)-set(b),是求差集,用a中不属于b的元素创建新集合。 >>>{'y'}-{'rmax','...

2018-03-28 15:03:46 1538 0

原创 tf.assign

tf.assign在tensorflow起到赋值的作用,对g进行assign后g的值就变成新的值,同时返回的也是新的值。 一旦assign被session run之后,g的值就会变成新的值。这里要特别注意,不然可能造成值溢出。 #!/usr/bin/env python3 # -*- codi...

2018-03-22 11:23:22 1853 0

原创 tf.nn.l2_loss和 tf.nn.l2_normalize

一,L2正则化: tf.nn.l2_loss形如1/2Σw21/2Σw21/2\Sigma w^2,一般用于优化的目标函数中的正则项,防止参数太多复杂容易过拟合。 tf.nn.l2_loss(var) Computes half the L2 norm of a tensor without ...

2018-03-21 19:59:45 8243 0

原创 [UFLDL]卷积神经网络

卷积神经网络

2018-03-20 16:38:47 152 0

原创 [UFLDL]多层神经网络

MLP

2018-03-20 16:33:44 169 0

原创 [UFLDL]主成分分析与白化

主成分分析与白化

2018-03-20 16:28:51 132 0

原创 Visualizing and understanding Convolutional Networks

可视化CNN

2018-03-20 16:18:14 55 0

原创 [UFLDL]softmax多分类

softmax多分类

2018-03-20 16:15:33 157 0

原创 [UFLDL]逻辑回归

逻辑斯谛回归

2018-03-20 16:08:48 95 0

原创 [UFLDL]线性回归

来自ufldl教程 很久之前做的工作了,最近看书所以再次整理下。

2018-02-15 19:45:34 132 0

原创 关于 Network-in-network理解和实现

NIN论文地址1.出发点:增强模型在其感知野内的辨别能力,通常是由卷积滤波器(一个通用线性模型(GLM))提取各个抽象特征,当这些被提取的特征是线性的,卷积滤波器是够用的,但这显然不符合事实,比如我们要提取 某个特征,于是我就用了一大堆的滤波器,把所有可能的提取出来,这样就可以把我想要提取的特征也...

2017-12-22 16:34:00 7421 0

原创 python中Return浅析

return 语句是Python语言中函数返回的一个值,每个函数都应该有一个返回值;其中,return返回值可以是一个数值,一个字符串,一个布尔值或者一个列表。    Python 函数返回值return ,函数中一定要有return 返回值才是完整的函数,如果你没有定义Python 函数返回值...

2017-12-08 21:19:52 7845 0

原创 解决ImportError: cannot import name xxx

连续两天用pycharm提示 ImportError: cannot import name xxx’,包括re,PIL,等等,但是在Python IDLE里面跑却没有错误。不过总不能老是输命令跑啊,查了一下,发现是自己起名太随意的原因。在当前目录有个re,datetime,PIL的.py文件(新...

2017-12-04 22:15:32 68264 2

原创 Tensorflow 提示list indices must be integers, not Tensor ?

当用到list的时候想要根据索引取值,不过索引的值和总体训练步数global_step有关,这是个tensorglobal_step = tf.contrib.framework.get_or_create_global_step()当取值时就变成了List[i]#i是tensor类型。 结果提...

2017-11-29 17:20:43 3782 0

原创 python 内建函数 str() 和 repr() 的区别

1.str()一般是将数值转成字符串,str()函数得到的字符串可读性好(故被print调用) 2.repr()是将一个对象转成字符串显示,repr() 函数将对象转化为供解释器读取的形式。支持dict和list。    &nb...

2017-11-09 20:40:44 427 0

原创 Resnet理解

之前跑的卷积网络都是10层左右的,层数再深训练速度慢且网络模型不好搭建,终于有时间看resnet了。一.关于resnetPlainNet结构主要基于VGG修改而得到,ResNet结构主要结构与PlainNet一致,只是多了许多 shortCut连接,可以发现,通过shortcut,整个ResNet...

2017-11-08 22:27:43 6281 7

转载 Wasserstein GAN

学习GAN过程中整理的文字,其中很多来自令人拍案叫绝的Wasserstein GAN1. 简介2.原始GAN存在的问题2.1原始GAN回顾回顾一下,原始GAN中判别器要最小化如下损失函数,尽可能把真实样本分为正例,生成样本分为负例:−Ex∼Pr[logD(x)]−Ex∼Pg[log(1−D(x))...

2017-10-30 22:48:36 600 0

原创 激活函数(relu,prelu,elu,+BN)对比on cifar10

最近做了个对比实验,通过修改激活函数观察对图片分类准确率的影响,现记录如下:一.理论基础 1.1激活函数 1.2 elu论文(FAST AND ACCURATE DEEP NETWORK LEARNING BY EXPONENTIAL LINEAR UNITS (ELUS)) 1.2.1 ...

2017-10-30 22:18:00 11775 1

原创 关于numpy mean函数和var函数用法

1.1对于二维矩阵首先官网里有写: numpy.mean(a, axis=None, dtype=None, out=None, keepdims= ) Compute the arithmetic mean along the specified axis.axis : None or in...

2017-10-09 22:49:47 5823 0

原创 Self-Normalizing Neural Networks(自归一化神经网络)阅读笔记

Abstarct:   针对FNNs(feed-forward neural networks)的层数都比较浅的情况,作者提出了SNNs(自标准化神经网络)的概念,SNNs可以使得网络更深,探索高层的抽象特征。另外不像bn的强制每层归一化,SNNs可以自动收敛到均值0方差1,SELUs就是具有自标...

2017-09-28 10:35:09 1289 0

原创 Java中的Math.random和random.nextInt区别

遗忘真的太可怕,于是就把暂时想要记录的写下来。Math.random() 方法生成[0, 1)范围内的double类型随机数;Random类中的nextInt(n)系列方法生成0-n的随机数; Random random=new Random(); System.out.prin...

2017-09-21 21:00:55 676 0

提示
确定要删除当前文章?
取消 删除