- 博客(46)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 tf.one_hot（）使用
tf.one_hot在看conditionGAN的时候注意到label的输入要把它转换成one-hot形式，再与噪声z进行tf.concat输入，之前看的时候忽略了，现在再看才算明白为什么。tf.one_hot( indices,#输入，这里是一维的 depth,# one hot dimension. on_value=None,#output 默认1 off_va
2017-10-11 19:41:11
26795
5
原创 ValueError: You can only pass an initializer function that expects no arguments to its callable when
tensorflow初始化报错：ValueError: You can only pass an initializer function that expects no arguments to its callable when the shape is not fully defined. The given initializer function expects the following args [‘shape’, ‘dtype’, ‘partition_info’]原因：是因为定义维
2020-08-04 11:38:04
965
原创 python str转list
想当然的使用list直接转化，发现不是自己想要的格式，[str]才可以实现，list会一个个去读str，把str切分开来。第一种方式>>> s="ssdf">>> list(s)['s', 's', 'd', 'f']第二种方式>>> [s]['ssdf']...
2020-07-23 23:40:04
6823
原创 pycharm运行时提示lib9.0so不存在，xshell下可以运行
pycharm运行时提示lib9.0so不存在，xshell下可以运行，多半是环境变量问题，按照网上搜索的加了7.0和9.0的环境变量。
2020-06-13 13:20:11
250
原创 python查看编码格式
python查看编码格式 import chardet print chardet.detect(data) #以监测到的编码格式进行解码 logger.info(data.decode(chardet.detect(i)['encoding']))
2020-05-13 10:05:24
710
原创 阅读论文翻译记录[Improving Multi-turn Dialogue Modelling with Utterance ReWriter]
——————————————————————————————————————论文地址：https://www.aclweb.org/anthology/P19-1003前言：论文主要用来指导多轮交互如何进行指代消解和重写补全，在闲聊机器人和任务型机器人中都有很大的作用。涉及到的NLP知识1、评价标准：EM（Exact match.）EM score in SQuAD Chall...
2019-09-01 20:20:05
1393
1
原创 anaconda3+tensorflow1.2gpu
1、从官网下载anaconda3 linuxhttps://www.anaconda.com/download/#linux 终端运行 bash Anaconda3-5.2.0-Linux-x86_64 然后就是一直yes，记得添加环境变量也是yes。 vim ~/.bashrc 加上下面的环境变量，/home/anaconda2/bin是安装的地址。export PATH=...
2018-08-24 09:13:10
412
原创 Teach_student
一、背景及需求：多模型—>单模型原始bagging5个模型 每个模型的F1值： 多模型融合效果： 现在是要把5个模型通过T-S生成1个模型。二、T-S简介三、实现首先是从已知的模型中取出loss，这里需要重新run graph，命名空间很重要，feed数据与模型的输入保持一致， input_node是输入节点的名字，需要获取的loss节点的名字...
2018-08-07 15:50:47
615
原创 Boost NN与bagging实验对比
一、Boost    Boosting算法是将“弱学习算法“提升为“强学习算法”的过程，主要思想是“三个臭皮匠顶个诸葛亮”。一般来说，找到弱学习算法要相对容易一些，然后通过反复学习得到一系列弱分类器，组合这些弱分类器得到一个强分类器。Boosting算法要涉及到两个部分，加法模型和前向分步算法。加法模型就是说强分类器由一系列弱分类器线性相加而成。一般组合...
2018-08-01 15:27:23
895
原创 selfattention记录
一、Hierarchical Attention用于文本分类接下来我们介绍一下本篇文章的模型架构，其实主要的思想和上面的差不多，也是分层构建只不过加上了两个Attention层，用于分别对句子和文档中的单词、句子的重要性进行建模。其主要思想是，首先考虑文档的分层结构：单词构成句子，句子构成文档，所以建模时也分这两部分进行。其次，不同的单词和句子具有不同的信息量，不能单纯的统一对待所以引入Att...
2018-07-14 15:59:15
2572
转载 Highway Network
转载自https://blog.csdn.net/qq_32782339/article/details/78877908 Highway Network主要解决的问题是，网络深度加深，梯度信息回流受阻造成网络训练困难的问题。假设定义一个非线性变换为 H(x,WH)H(x,WH)H(x,W_{H})定义门函数，携带函数1−T1−T1-T。 门函数取sigmoid,值在0-1之间，不...
2018-07-08 23:15:46
1348
1
原创 window7+python2.7安装scrapy
1，看直接pip install scrapy行不行 报错。转22.安装lxmlhttps://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml首先查下自己电脑装的版本：import pipprint(pip.pep425tags.get_supported())3.下载xlml，进入到文件夹内安装pip install lxml-...
2018-05-30 17:28:18
444
原创 记录5.25
json学习https://blog.csdn.net/Eflyings/article/details/51201892 https://baike.baidu.com/item/JSON/2462549?fr=aladdin http://www.runoob.com/python/python-json.html{ "programmers": [{ ...
2018-05-30 17:13:45
204
原创 机器学习与深度学习记录
不平衡数据下的机器学习方法简介半监督学习中的协同学习不平衡数据下的机器学习方法简介https://www.jianshu.com/p/3e8b9f2764c8 半监督学习中的协同学习http://lamda.nju.edu.cn/huangsj/dm11/files/gaoy.pdf ...
2018-05-13 21:21:28
400
原创 word2vec实现cbow和skip-gram
word2vec实现cbow和skip-gramskip-gram cbow 1.CBOW实现"""学习参考：http://www.hankcs.com/ml/cbow-word2vec.htmlhttps://blog.csdn.net/layumi1993/article/details/72866235https://blog.csdn.net/linxuh...
2018-05-07 11:49:33
989
原创 batchrenorm代码
class batch_renorm(): def __init__(self, n_out,renorm_momentum=0.97, RMAX=1, DMAX=0,epsilon=1e-3): self.n_out = n_out self.moving_mean = _variable_on_cpu('moving_mean...
2018-05-03 11:01:18
363
原创 感知野理解及其计算方法
感知野多用于目标识别，没看过这方面论文和工作，所以理解出错希望大家可以立刻指正。感知野定义： 在卷积神经网络中，感受野的定义是卷积神经网络每一层输出的特征图（feature map）上的像素点在原始图像上映射的区域大小。 看图理解： 上图左边5*5 （kernel_size k=3x3，padding_size p=1x1, stride s = 2x2） 输出3*3的特征，...
2018-04-14 20:24:46
4491
转载 word2vec
关于word2vec的学习之路1 转载自http://www.cnblogs.com/peghoty/p/3857839.html ...
2018-04-13 21:34:09
258
原创 《NLP汉语自然语言处理原理与实践》郑捷书中代码
《NLP汉语自然语言处理原理与实践》郑捷代码，找了一会，方便大家： http://www.threedweb.cn/data/attachment/bigupload/NLPBook.zip 另，推荐宗成庆老师的《统计自然语言处理》，写的很好，引用文献很多，作者功底很深。...
2018-04-10 20:17:16
1814
7
转载 准确率和召回率(precision&recall)
在机器学习、推荐系统、信息检索、自然语言处理、多媒体视觉等领域，经常会用到准确率(precision)、召回率(recall)、F-measure、F1-score 来评价算法的准确性。 一、准确率和召回率(P&R)以文本检索为例，先看下图 其中，黑框表示检索域，我们从中检索与目标文本相关性大的项。图中黄色部分(A+B)表示检索域中与目标文本先关性高的项，图中A+C部分表示...
2018-04-03 22:42:58
1197
原创 BN实现
这样应该是最接近我对论文的理解写出的bn代码，如果有问题，欢迎指正。def batch_norm(x, n_out,train, eps=1e-05, decay=0.99,affine=True, name=None): with tf.variable_scope(name, default_name='BatchNorm2d'): moving_mean = t...
2018-03-28 22:01:41
1781
原创 python中set(a)-set(b)
set中元素是唯一，无序，不可改变的，不过可以为集合添加或删除元素（x.add()) 这里只说set(a)-set(b)，是求差集，用a中不属于b的元素创建新集合。>>>{'y'}-{'rmax','rmin'}{'y'}>>> {'rmax'}-{'rmax','rmin'}set()>>> {'rmin'}-{'rmax','...
2018-03-28 15:03:46
3740
原创 tf.assign
tf.assign在tensorflow起到赋值的作用，对g进行assign后g的值就变成新的值，同时返回的也是新的值。 一旦assign被session run之后，g的值就会变成新的值。这里要特别注意，不然可能造成值溢出。#!/usr/bin/env python3# -*- coding: utf-8 -*-import tensorflow as tfimport osos...
2018-03-22 11:23:22
2335
原创 tf.nn.l2_loss和 tf.nn.l2_normalize
一，L2正则化：tf.nn.l2_loss形如1/2Σw21/2Σw21/2\Sigma w^2,一般用于优化的目标函数中的正则项，防止参数太多复杂容易过拟合。tf.nn.l2_loss(var)Computes half the L2 norm of a tensor without the `sqrt`: output = sum(t ** 2) / 2不过在这里又...
2018-03-21 19:59:45
9287
原创 关于 Network-in-network理解和实现
NIN论文地址1.出发点：增强模型在其感知野内的辨别能力，通常是由卷积滤波器(一个通用线性模型（GLM))提取各个抽象特征，当这些被提取的特征是线性的，卷积滤波器是够用的，但这显然不符合事实，比如我们要提取 某个特征，于是我就用了一大堆的滤波器，把所有可能的提取出来，这样就可以把我想要提取的特征也覆盖到，然而这样存在一个缺点，那就是网络太恐怖了，参数 太多了。因此作者用一个通用的函数逼近器（mlp）
2017-12-22 16:34:00
9639
原创 python中Return浅析
return 语句是Python语言中函数返回的一个值，每个函数都应该有一个返回值；其中，return返回值可以是一个数值，一个字符串，一个布尔值或者一个列表。 Python 函数返回值return ，函数中一定要有return 返回值才是完整的函数，如果你没有定义Python 函数返回值，那么得到一个结果是None对象，而None表示没有任何值。 写法1：>>> def someFunc
2017-12-08 21:19:52
9605
原创 解决ImportError: cannot import name xxx
连续两天用pycharm提示 ImportError: cannot import name xxx’，包括re，PIL，等等，但是在Python IDLE里面跑却没有错误。不过总不能老是输命令跑啊，查了一下，发现是自己起名太随意的原因。在当前目录有个re，datetime，PIL的.py文件（新手为了学习起名直接拿来用了），结果Python在搜索路径的时候有个顺序：>>>...
2017-12-04 22:15:32
152067
8
原创 Tensorflow 提示list indices must be integers, not Tensor ？
当用到list的时候想要根据索引取值，不过索引的值和总体训练步数global_step有关，这是个tensorglobal_step = tf.contrib.framework.get_or_create_global_step()当取值时就变成了List[i]#i是tensor类型。 结果提示list indices must be integers, not Tensor 首先想到之前的t
2017-11-29 17:20:43
6100
原创 python 内建函数 str() 和 repr() 的区别
1.str()一般是将数值转成字符串，str()函数得到的字符串可读性好（故被print调用） 2.repr()是将一个对象转成字符串显示，repr() 函数将对象转化为供解释器读取的形式。支持dict和list。 repr是representation及描述的意思，不是对人的描述，而是对python机器的描述，也就是它会将某物返回一个它在p...
2017-11-09 20:40:44
3185
原创 Resnet理解
之前跑的卷积网络都是10层左右的，层数再深训练速度慢且网络模型不好搭建，终于有时间看resnet了。一.关于resnetPlainNet结构主要基于VGG修改而得到，ResNet结构主要结构与PlainNet一致，只是多了许多 shortCut连接,可以发现，通过shortcut，整个ResNet就可以看成是许多个residual block堆叠而成。 H(X) 是一个有若干堆叠的网络层将进行
2017-11-08 22:27:43
10225
7
转载 Wasserstein GAN
学习GAN过程中整理的文字，其中很多来自令人拍案叫绝的Wasserstein GAN1. 简介2.原始GAN存在的问题2.1原始GAN回顾回顾一下，原始GAN中判别器要最小化如下损失函数，尽可能把真实样本分为正例，生成样本分为负例：−Ex∼Pr[logD(x)]−Ex∼Pg[log(1−D(x))]\begin{align}-\mathbb{E}_{x\sim P_r}[\log D(x)] -
2017-10-30 22:48:36
961
原创 激活函数（relu，prelu，elu，+BN）对比on cifar10
最近做了个对比实验，通过修改激活函数观察对图片分类准确率的影响，现记录如下：一．理论基础 1.1激活函数 1.2 elu论文（FAST AND ACCURATE DEEP NETWORK LEARNING BY EXPONENTIAL LINEAR UNITS (ELUS)） 1.2.1 摘要 论文中提到，elu函数可以加速训练并且可以提高分类的准确率。它有以下特征： 1）el
2017-10-30 22:18:00
23295
1
原创 关于numpy mean函数和var函数用法
1.1对于二维矩阵首先官网里有写： numpy.mean(a, axis=None, dtype=None, out=None, keepdims= ) Compute the arithmetic mean along the specified axis.axis : None or int or tuple of ints, optional Axis or axes along whi
2017-10-09 22:49:47
8725
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人