ningyanggege的博客

原创 gbdt降低学习率可以实现正则化效果呢

问题：为什么降低学习率可以会有正则化效果呢？因为一般根据在神经网络的经验而言，降低学习率，可以实现更高的训练效果，即进一步拟合；在gbdt中，这个学习率与神经网络中的学习率担任的角色不一样；gbdt中的学习率主要是调节每棵树的对预测结果的贡献；如果学习率下降，就降低了每棵树的贡献；模型训练的预测效果就会下降；为了达到和高学习率相同的效果，就需要生成更多的树；当时的疑惑是如果下降学习...

原创 tool 之gvim 64位安装流程

1、下载地址：https://github.com/vim/vim-win32-installer/releases/tag/v8.1.0982如图所示：2、安装vundle插件（提前安装git）：新建目录bundle以及次级目录vundle3、将vimrc文件替换掉原有的容易出现中文乱码问题，空格变成问号，用notepad++打开等方式，保证源码不变；将安装插件目录修改下：...

原创 共享X轴，分成上下两图

事实描述：fig,axes=plt.subplots(nrows=2,ncols=1,sharex=True,sharey=False,figsize=(15,8))ss.ix[display_start:display_end,['MA_20','MA_60','threshold']].plot(ax=axes[0])idx_ret[display_start:display_en...

原创 共享x轴，使用双y轴

1.代码如下： import pandas as pdimport numpy as npimport matplotlib.pyplot as pltx=np.arange(1,100)y=np.sin(x**2)z=x*2fig=plt.figure()ax=fig.add_subplot(111)ax.plot(x,y,label='sin',color=...

原创 计算梯度的三种方法： 数值法，解析法，反向传播法

 # coding=gbk """function : f(x,y,z) = (x+y)z"""# first method 解析法def grad1(x,y,z): dx = z dy = z dz = (x+y) return (dx,dy,dz)# second method 数值法def grad2(x,y,z,epi): ...

转载 kl散度的理解

在看论文《Detecting Regions of Maximal Divergence for Spatio-Temporal Anomaly Detection》时，文中提到了这三种方法来比较时间序列中不同区域概率分布的差异。 KL散度、JS散度和交叉熵三者都是用来衡量两个概率分布之间的差异性的指标。不同之处在于它们的数学表达。对于概率分布P(x)和Q(x)1）KL散度（K...

原创 linux知识记录20192022

原创 负采样的理解

我对负采样理解来自于word2vec算法；比如说  love 和me两个单词；使用特殊思维模式；假设整个词汇表只有100个单词；love 表示成one-hot向量； me表示成one-hot向量；模型输入为love的one-hot向量；模型输出为me的one-hot向量；假设模型的神经网络结构为100*10*100；输出层100个；输出层中除了me对应位置的1外，其他全是0；称...

原创 使用intellij idea打开以前用maven的包

第一步打开原有的文件夹；显示如下： 第二步、点击import changes,这样就正常显示了，OK 

原创 反卷积的理解与应用

提问：如果卷积神经网络来做自编码器，如何做反卷积呢？答：卷积神经神经本质上可以（先将池化层删除，聚集核心）转换成全连接层；那么联想到普通自编码器，如果要求编码器与解码器参数相对称，那么编码层对应的参数w，解码层对应的参数为w的转置；那么反卷积也一样的道理；需要是w的转置；  ...

原创 卷积神经网络只是一种全连接神经网络的特殊情况

如图所示： 图片输入可以转换成一个一维向量，确定好卷积滤波器参数后，就可以确定整个参数矩阵（对应全连接层的w）哪些是0，哪些是需要计算的第一行参数对应于与第一个输出相连的参数；第一次卷积第二行参数对就于第二个输出相连的参数 ；第二次卷积第三行参数对应于与第三个输出相连的参数；第三次卷积第四行参数对就于第四个输出相连的参数 ；第四次卷积可以看出只有9个参数需要学习，其...

转载 cnn_sdae_tensorflow

#! -*- coding: utf-8 -*- ## by Colie (lijixiang) import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data import numpy as np from PIL import Image train...

转载 tf.truncated_normal

tf.truncated_normal(shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None)        从截断的正态分布中输出随机值。 shape表示生成张量的维度，mean是均值，stddev是标准差。这个函数产生正太分布，均值和标准差自己设定。这是一个截断的产生正太分布的函数，就是说产生正太分布的值如果...

原创 cnn_mnist_案例详解

from tensorflow.examples.tutorials.mnist import input_datamnist = input_data.read_data_sets("MNIST_data/", one_hot=True)# 权重初始化def weight_variable(shape): # 从截断的正态分布中输出随机值。 # 生成的值服从具有指定平...

原创 tf.Session().as_default的作用

一  如图所示:没有使用as_default()结果显示:b无法运行,因为session已经关闭;二 使用as_default函数 即使跳出with范围,仍然可以使用sess会话;并没有结束上下文管理器...

转载 numpy+cnn

import numpyimport sysdef conv_(img, conv_filter): filter_size = conv_filter.shape[1] result = numpy.zeros((img.shape)) #Looping through the image to apply the convolution operation....

原创 灰度图片维度与彩色图片维度-python-scikit-image包

from skimage import io,data,colorimport matplotlib.pyplot as pltimg=data.chelsea()print(img.shape)#img = color.rgb2gray(img)#print(type(img))#print(img.shape)io.imshow(img)plt.show()输出结果,如图...

原创 vim 有用命令-20190217

1、diw 删除当前光标所在的单词(不包括空白字符)2、daw 删除当前光标所在的单词(包括空白字符)3、q! 放弃所有修改，并强制退出4、e! 放弃所有修改，并强制退出，且重新载入该文件的原始内容5、g/^$/d 删除所有空白行 ...

原创 卷积池化的反向传播

 个人理解：池化层的梯度可以类似于relu函数的梯度；虽然不是处处可导，但不影响对w求导；对w的导数是每个样本的梯度之和 ； 比如说：y=w*x1+w*x2+w*x3; w的导数为x1样本的梯度加上x2样本的梯度加上x3样本的梯度；所以反向求导是对单一样本导数之和，这样更好的来理解；...

转载 cnn卷积中padding作用

 其他来源：另一个来源：padding的两种方式的区别：  

原创 pd.read_csv指定数据类型是非常重要的

指定数据类型的情况下：  不指定数据类型的情况下：    内存爆满，出现异常  分析原因：  由于使用默认的参数设置，数据类型会选64位的，导致内存不够用；数据虽然只有2G多。读取进内存后，数据类型选择不当，17个G都不够用； ...