- 博客(337)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 CPython是什么？PyPy是什么？Python和这两个东西有什么关系
python是一种编程语言。但这种语言有多种实现，而且与其他语言不同，python并没有一个专门的机构负责实现，而是由多个社区来实现。其中使用c语言开发的叫做python，在于别的语言开发的python对比时为避免歧义通常称为CPython。同样的，使用java开发的叫做JPython，使用.net开发的叫做IronPython。而PyPy与CPython的不同在于，别的一些python...
2019-06-04 16:25:02
17338
1
转载 python click 函数
Click模块click模块是Flask的作者开发的一个第三方模块，用于快速创建命令行。它的作用与Python标准库的argparse相同，但是，使用起来更简单。click是一个第三方库，因此使用起来需要先行安装安装click模块使用pip命令即可完成模块的安装 1 pip install click 基本使用Click对argpar...
2019-06-04 15:54:04
4383
转载 Python计算程序运行时间
方法1import datetimestarttime = datetime.datetime.now()#code running...........endtime = datetime.datetime.now()print (endtime - starttime).seconds方法 2start = time.time()#code ............
2019-06-03 18:54:34
8482
转载 keras系列︱keras是如何指定显卡且限制显存用量（GPU/CPU使用）
keras在使用GPU的时候有个特点，就是默认全部占满显存。若单核GPU也无所谓，若是服务器GPU较多，性能较好，全部占满就太浪费了。于是乎有以下五种情况：1、指定GPU2、使用固定显存的GPU3、指定GPU + 固定显存4 GPU动态增长5 CPU充分占用一、固定显存的GPU本节来源于：深度学习theano/tensorflow多显卡多人使用问题集（参见：Limit the ...
2019-06-03 18:40:57
885
原创 python生成器generator
参考：https://blog.csdn.net/qq_18888869/article/details/83106460本文内容是：先讲最简单的generator创建方式，然后讲2种generator获取元素方式，最后讲第二种generator创建方式。在深度学习中训练模型的过程中读取图片数据，如果将图片数据全部读入内存是不现实的，所以有必要使用生成器来读取数据。举例，创...
2019-06-03 17:24:50
496
转载 BiLSTM介绍
一、介绍1.1 文章组织本文简要介绍了BiLSTM的基本原理，并以句子级情感分类任务为例介绍为什么需要使用LSTM或BiLSTM进行建模。在文章的最后，我们给出在PyTorch下BiLSTM的实现代码，供读者参考。1.2 情感分类任务自然语言处理中情感分类任务是对给定文本进行情感倾向分类的任务，粗略来看可以认为其是分类任务中的一类。对于情感分类任务，目前通常的做法是先对词或者短语进...
2019-06-02 20:24:31
28580
原创 深度学习之GRU网络
1、GRU概述 GRU是LSTM网络的一种效果很好的变体，它较LSTM网络的结构更加简单，而且效果也很好，因此也是当前非常流形的一种网络。GRU既然是LSTM的变体，因此也是可以解决RNN网络中的长依赖问题。 在LSTM中引入了三个门函数：输入门、遗忘门和输出门来控制输入值、记忆值和输出值。而在GRU模型中只有两个门：分别是更新门和重置门。具体结构如下图所示： 图中的...
2019-06-02 18:52:59
3731
原创 tensorflow学习之BasicLSTMCell详解
tf.contrib.rnn.BasicLSTMCell继承自：LayerRNNCellAliases:Class tf.contrib.rnn.BasicLSTMCellClass tf.nn.rnn_cell.BasicLSTMCell基础的LSTM循环网络单元，基于http://arxiv.org/abs/1409.2329.实现。将forget_bias（默认值：1）添加到忘...
2019-06-02 17:41:58
6388
1
转载 tf.contrib.rnn.static_rnn与tf.nn.dynamic_rnn区别
chunk_size = 256chunk_n = 160rnn_size = 256num_layers = 2n_output_layer = MAX_CAPTCHA*CHAR_SET_LEN # 输出层单层rnn：tf.contrib.rnn.static_rnn：输入：[步长,batch,input]输出：[n_steps,batch,n_hidden]...
2019-06-02 17:06:50
547
转载 Tensorflow实战：LSTM原理及实现（详解）
LSTM规避了标准RNN中梯度爆炸和梯度消失的问题，所以会显得更好用，学习速度更快下图是最基本的LSTM单元连接起来的样子上图为一层LSTM单元连接起来的样子，在工业上，LSTM是可以像一个很大的方阵的，其中除了输入层和输出层分别对应着Xt和ht的值以外，中间的部分都是一层层的LSTM单元，拓扑结构如下：LSTM内部结构LSTM看上去就是这样一种效果，一个一个首尾相接，同一层...
2019-06-02 16:57:36
7577
转载 [译] 理解 LSTM(Long Short-Term Memory, LSTM) 网络
Recurrent Neural Networks人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义。我们不会将所有的东西都全部丢弃，然后用空白的大脑进行思考。我们的思想拥有持久性。传统的神经网络并不能做到这点，看起来也像是一种巨大的弊端。例如，假设你希望对电影中的每个时间点的时间类型进行分类。传统的神经...
2019-06-02 16:36:25
848
转载 nn.ReflectionPad2d()
ReflectionPad2d()类似于一种 镜像填充说说公式，及属性具体官方文档很详细不过不够通俗= =官方文档上 是这个表示第一眼有点不理解= =但是输出是H(out)= H(in)+ paddingTop + paddingBottomW(out)= W(in)+ paddingLeft + paddingR...
2019-06-01 16:02:00
1135
原创 AttributeError: 'module' object has no attribute 'normalize_data_format'
从2.2.1后normalize_data_format 就从keras.utils.conv_utils移动到了keras.backend.common，所以keras-contrib 不能通过 keras 2.2.1+ .引入soimport kerasprint(keras.__version__)可以查看自己的安装Keras版本号所以确定后改为：from k...
2019-05-31 14:30:43
5329
原创 ImportError: No module named apex
调用了一个pytorch的项目，结果里面要用英伟达的apex，https://github.com/NVIDIA/apex看的有点不明白，好在有个网友建议也可以直接下载文件夹 importhttps://github.com/nvidia/apex#__NO_LINK_PROXY__或者直接git clone https://www.github.com/nvidia/ap...
2019-05-29 16:03:43
6296
3
原创 volatile was removed and now has no effect. Use `with torch.no_grad():` instead.
UserWarning: volatile was removed and now has no effect. Use `with torch.no_grad():` instead. molded_images = Variable(molded_images, volatile=True)修改为# Wrap in variable with torch.no_...
2019-05-29 10:19:00
8956
1
原创 Win10环境下安装pytorch
注意：Pytorch0.4.0才开始支持Windowspip install pytorch torchvision这个是安装命令，不用多说下面看看遇到的问题：pip指令不对pip版本过低反正就是不行，但是我换Linux一次就搞定，不得不说对win兼容性真差劲。方法2——Condaconda create -n pytorch4 python=3.5 activ...
2019-05-26 20:42:25
2404
转载 基于深度学习的Image Inpainting (图像修复)
传统的图形学和视觉的研究方法，主要还是基于数学和物理的方法。然而随着近几年深度学习在视觉领域取得的卓越的效果，视觉领域研究的前沿已经基本被深度学习占领。在这样的形势之下，越来越多的图形学研究者也开始将目光投向深度学习。在图形学和视觉交叉的领域，一系列问题的研究正在围绕深度学习火热展开，特别是在图像编辑(image editing)和图像生成(image generation)方面，已经初见成效。今...
2019-05-26 16:04:29
5151
原创 ImportError: No module named Keras
有个TensorFlow项目，调用Keras的https://keras.io/zh/layers/advanced-activations/LeakyReLUkeras.layers.LeakyReLU(alpha=0.3)带泄漏的 ReLU。当神经元未激活时，它仍允许赋予一个很小的梯度：f(x) = alpha * x for x < 0,f(x) = x for...
2019-05-20 15:35:55
11714
转载 word2vector（二）
在上一篇文章中，我们简述了skip gram版word2vector的基本原理，留下一个问题待解决，那就是网络非常大，这将导致如下几个困难：1、在上面训练梯度下降会比较慢；2、需要数量巨大的数据来喂到网络中；3、非常容易过拟合。这一节就是专门介绍实际训练中的技巧的。原文在这里：http://mccormickml.com/2017/01/11/word2vec-tutorial-part-2-n...
2019-05-20 10:50:26
887
转载 word2vector（一）
word2vector已经成为NLP领域的基石算法。作为一名AI 从业者，如果不能主动去熟悉该算法，应该感到脸红。本文是一篇翻译的文章，原文链接是：http://mccormickml.com/2016/04/19/word2vec-tutorial-the-skip-gram-model/如果你的英语很好，强烈建议直接阅读原文。这篇文章写的非常好，简明扼要，语言流畅。是我认为入门word2v...
2019-05-20 10:49:10
912
转载 自然语言处理中句子相似度计算的几种方法
基本方法 编辑距离计算 杰卡德系数计算 TF 计算 TFIDF 系数 Word2Vec 计算在做自然语言处理的过程中，我们经常会遇到需要找出相似语句的场景，或者找出句子的近似表达，这时候我们就需要把类似的句子归到一起，这里面就涉及到句子相似度计算的问题，那么本节就来了解一下怎么样来用 Python 实现句子相似度的计算。基本方法句子相似度计算我们一共归类了以下几种方法：编辑...
2019-05-19 21:22:53
2765
转载 卷积神经网络中十大拍案叫绝的操作
CNN从2012年的AlexNet发展至今，科学家们发明出各种各样的CNN模型，一个比一个深，一个比一个准确，一个比一个轻量。我下面会对近几年一些具有变革性的工作进行简单盘点，从这些充满革新性的工作中探讨日后的CNN变革方向。注：水平所限，下面的见解或许有偏差，望大牛指正。另外只介绍其中具有代表性的模型，一些著名的模型由于原理相同将不作介绍，若有遗漏也欢迎指出。一、卷积只能在同一组进行吗？...
2019-05-19 11:01:30
1440
2
转载 CNN 中， 1X1卷积核到底有什么作用呢？
http://www.caffecn.cn/?/question/136 摘抄于这里从NIN 到Googlenet mrsa net 都是用了这个，为什么呢发现很多网络使用了1X1卷积核，这能起到什么作用呢？另外我一直觉得，1X1卷积核就是对输入的一个比例缩放，因为1X1卷积核只有一个参数，这个核在输入上滑动，就相当于给输入数据乘以一个系数。不知道我理解的是否正确。我来说说我的理解，我认为1...
2019-05-18 17:02:49
237
转载 shuffleNet v1 v2学习
ShuffleNet v1ShuffleNet v1是由旷视科技在2017年底提出的轻量级可用于移动设备的卷积神经网络。该网络创新之处在于，使用pointwise group convolution还有channel shuffle，保证网络准确率的同时，大幅度降低了所需的计算资源。在近期的网络中，pointwise convolution的出现使得所需计算量极大的增多，于是作者提出了p...
2019-05-18 16:26:21
621
转载 ShuffleNet，卷积神经网络
ShuffleNet 是 Face++团队提出的，与 MobileNet 一样，发表于 CVPR-2017，但晚于 MobileNet 两个月才在 arXiv 上公开。论文标题：《ShuffleNet： An Extremely Efficient Convolutional Neural Network for Mobile Devices》一看名字 ShuffleNet，就知道 shu...
2019-05-18 16:15:24
1607
原创 gradient clipping
问题起与这篇知乎：训练到一定epoch之后，突然loss为Nan，其中一种方法说 梯度截断。我觉得我LSTM可能会出现这个问题。https://www.zhihu.com/question/49346370梯度消失（vanishing gradient）与梯度爆炸（exploding gradient）（1）梯度不稳定问题：什么是梯度不稳定问题：深度神经网络中的梯度不稳定性，前面层...
2019-05-17 15:20:28
5966
原创 深度学习训练中cost突然出现NaN
问题：在深度学习训练中，之前的cost是正常的，突然在某一个batch训练中出现Nanfew advises to avoid this problemif error starts increasing then NaN appears afterwards: diverging due to too high learning rateif NaNs appear suddenly:...
2019-05-17 15:07:39
4896
转载 深度神经网络训练的技巧
本文主要介绍8种实现细节的技巧或tricks：数据增广、图像预处理、网络初始化、训练过程中的技巧、激活函数的选择、不同正则化方法、来自于数据的洞察、集成多个深度网络的方法。1数据增广在不改变图像类别的情况下，增加数据量，能提高模型的泛化能力。图像识别领域数据增广的例子自然图像的数据增广方式包括很多，如常用的水平翻转（horizontally flippi...
2019-05-16 10:03:52
2043
原创 python调用super（）.__init__（）:TypeError:must be type,not classobj
python3 写法：如果你在Dict类中未定义__init__方法，默认是使用dict的__init__方法如果你在Dict类中定义了__init__方法，则可以使用super(Dict, self).__init__(**kw)来调用父类的__init__方法放在python2就报错了，不兼容接口。python2写法：super( test, self).init(p...
2019-05-15 15:06:49
1598
原创 python ImportError: No module named xx
网上看了很多方法：也试了很多都不行。1.import syssys.path.append('xx/xx/code.py')但是我的项目里面不管用。2.有用了在每个文件夹里面新建一个 __init__.py的空文件。__init__.py文件定义了包的属性和方法。其实它可以什么也不定义；可以只是一个空文件，但是必须存在。如果__init__.py不存在，这个目录就...
2019-05-15 14:35:56
959
1
转载 Python入门之类(class)
Python3 面向对象Python从设计之初就已经是一门面向对象的语言，正因为如此，在Python中创建一个类和对象是很容易的。本章节我们将详细介绍Python的面向对象编程。如果你以前没有接触过面向对象的编程语言，那你可能需要先了解一些面向对象语言的一些基本特征，在头脑里头形成一个基本的面向对象的概念，这样有助于你更容易的学习Python的面向对象编程。接下来我们先来简单的了解下面...
2019-05-09 21:42:34
320
转载 CUDA——"从入门到放弃"
1. 知识准备1.1 中央处理器（CPU）中央处理器（CPU，Central Processing Unit）是一块超大规模的集成电路，是一台计算机的运算核心（Core）和控制核心（ Control Unit）。它的功能主要是解释计算机指令以及处理计算机软件中的数据。中央处理器主要包括运算器（算术逻辑运算单元，ALU，Arithmetic Logic Unit）和高速缓冲存储器（Cac...
2019-05-09 09:50:13
112723
15
转载 linux文件和目录的777、755、644权限解释
r：4读w：2 写x： 1执行权限777：最高权限777：（4+2+1）（4+2+1）（4+2+1）第一个7：表示当前文件的拥有者的权限 7 = 4+2+1 可读可写可执行权限第二个7：表示当前文件的所属组（同组用户）权限7 = 4+2+1 可读可写可执行权限第三个7：表示当前文件的组外权限7 = 4+2+1 可读可...
2019-05-08 18:37:50
1502
原创 loss训练时候震荡分析
分析原因:1.batch的选择，首先决定的是下降方向，如果数据集比较小，则完全可以采用全数据集的形式。这样做的好处有两点，1）全数据集的方向能够更好的代表样本总体，确定其极值所在。2）由于不同权重的梯度值差别巨大，因此选取一个全局的学习率很困难。2.增大batchsize的好处有三点：1）内存的利用率提高了，大矩阵乘法的并行化效率提高。...
2019-05-03 18:57:06
32528
4
转载 神经网络不work该怎么办！看看这11条
每个人在调试神经网络的时候，大概都遇到过这样一个时刻：什么鬼！我的神经网络就是不work！到底该怎么办！机器学习博客TheOrangeDuck的作者，育碧蒙特利尔实验室的机器学习研究员Daniel Holden根据自己工作中失败的教训，整理了一份神经网络出错原因清单，一共11条。量子位搬运过来，各位被神经网络虐待的时候，可以按图索骥。△作者Daniel Holden当然，也...
2019-05-03 17:50:51
1285
转载 训练神经网络到底有诀窍和套路吗？
这位特斯拉的人工智能研究负责人、李飞飞的斯坦福高徒刚刚难得更新了博客，推出了一篇长文《神经网络的训练秘籍》，详细讲述了我们在训练神经网络时候可以遵循的套路。据Andrej Karpathy推特说，他本来是在推特上写了一些自己训练神经网络的经验教训，结果网友们反响强烈，所以他决定把相关内容更完整的在一篇文章中呈现给大家。在这篇长文中，Andrej Karpathy像一个操心的老父亲一样，...
2019-05-03 17:10:46
1018
转载 你的神经网络不work? 这37个原因总有一款适合你！
彼时，我手头的神经网络训练已持续了12个小时，各项指标显示运转良好。没有一点点防备，就在刚才，突然提示：全部预测为零，一点有用的信息都没有！“到底哪里出问题了？” ——我自言自语，很是郁闷。“该如何检查神经网络模型输出的信息是否有用（例如，预测所有输出的平均值，还是看看准确度是不是很糟糕）”？其实，影响神经网络训练正常运转的影响因素很多！在经历了多次调试后，我总结出了一些通用的经验，特此...
2019-05-03 16:43:44
370
转载 Python不能对字符解码的问题详细分析过程
今天在做简单的Python爬虫时遇到了编码错误的问题，查找资料得到如下结论：（转载记录，便于今后查找） 报错的异常是 UnicodeDecodeError: ‘gbk’ codec can’t decode bytes in position 2-3: illegal multibyte sequence 此问题，还是很具有代表性的，此处，专门整理如下：【Py...
2019-05-01 18:16:02
1225
原创 python 生成pyc后缀的文件
参考链接：https://www.jianshu.com/p/40a42bf1d15d在Linux下面运行python文件，会发现生成了一个一样名字，但后缀不一样的文件，出去好奇网上查了一下。其实有过Java前台开发的应该有个印象，JS的代码也会生成一个编译 好的文件，只要你不改动文件，以后直接调用编译过的文件，省去了代码重新编译，提高响应速度。其实python作为高级语言，和Java一样面向...
2019-05-01 18:14:04
3107
原创 python 编码与解码 II
参考链接：https://www.jianshu.com/p/19c74e76ee0a https://www.runoob.com/python/python-chinese-encoding.html我们再简单梳理一下：具体看 python 编码与解码1 字符与字节一个字符不等价于一个字节，一个字节由8个0/1表示比特位，即数值上最大为128....
2019-05-01 17:17:34
342
kaggle_titanic数据集
2018-03-23
斯坦福大学的机器学习视频资料总结的笔记
2017-10-16
SQL server 2008编程入门经典
2017-08-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人