- 博客(53)
- 收藏
- 关注
RSS订阅原创 row_number, rank(), dense_rank()的用法与区别
row_number, rank(), dense_rank()的用法与区别
2022-04-20 15:58:45
208
原创 new与malloc
1、属性new/delete是c++运算符(关键字),需要编译器支持。malloc/free是库函数，需要头文件支持。2、参数使用new操作符申请内存分配时无需指定内存块的大小，编译器会根据类型信息自行计算。而malloc需要显示的指出所需内存的尺寸3、返回类型new操作符内存分配成功时，返回的是对象类型的指针，类型严格与对象匹配，无须进行类型转换，故new是符合类型安全性的操作符。而malloc内存分配成功则是返回void *，需要通过强制类型转换将void *指针转换为我们需要的类型4、分配
2020-10-12 15:03:09
183
原创 链表找环
1、先判断是否有环**思路：**用快慢两个指针分别从链表头开始，慢指针 -> next，快指针 -> next -> next，这样如果有环那快指针务必会跑到慢指针后面，随即两者之间的距离一次会缩小一步，最终相遇。若是未相遇且快指针的 next 为 null，则说明链表无环。2、若是有环怎么找到环入口链表中有闭环即快慢两指针相遇了当两指针在 P 点相遇，我们可列出如下等式：2(L+x) = L+x+n*H (n >= 1) // n 为快指针在闭环上的圈数
2020-10-12 12:41:32
816
原创 linux远程访问neo4j
一、首先确保权限，看看能不能打开防火墙端口firewall-cmd --zone=public --permanent --add-port=7474/tcpfirewall-cmd --reloadfirewall-cmd --list-ports # 查看端口是否打开成功成功的话会有7474/tcp二、修改neo4j/conf/neo4j.conf去掉这些代码前面的#即可dbms.connectors.default_listen_address=0.0.0.0dbms.conne
2020-07-20 16:21:50
672
转载 一本读懂BERT(实践篇)
一、什么是BERT？首先我们先看官方的介绍：BERT is a method of pre-training language representations, meaning that we train a general-purpose “language understanding” model on a large text corpus (like Wikipedia), and ...
2020-01-02 11:02:07
1138
原创 Transformer补充及整体过程
上一节介绍了self-attention之后，有一个问题，对self-attention来说，Input sequence的顺序好像没有什么用，因为对每一个Input Vector都做了attention，对每一个时间点来说，当前词的邻居或者很远的词，对他的影响都是一样的。这不符合我们的期望顺序表达我们希望能把Input seq的顺序考虑进去原文中认为，Input aia^iai在经过em...
2019-12-13 17:17:51
393
原创 Self-attention计算方法
首先，Inputs为x1~x4，是一个sequence，每一个Input先通过一个Embedding，乘上一个Matrix得到(a1,a4)，然后放入self-attention在self-attention当中，每一个Input都分别乘上3个不同的Matrix产生3个不同的Vector，分别命名为q，k，vq代表query，to match others，每一个Input都乘上一个Mat...
2019-12-12 18:24:22
4188
原创 Transformer的工作
要想学习BERT，需要先了解Transformer1、Transformer的工作2、传统网络结构的问题RNN网络不能做并行训练，X1会用上X0的隐层特征，X2会用上X1的隐层特征，所以不能独立计算(x0,x1,x2各自计算，算完合在一起)，所以不能并行计算，所以层数不够多，计算速度也不快。Transformer注意力机制注意力机制简单点说就是"今天早上吃饭，上午上课，下午上课，晚...
2019-12-12 10:20:25
299
原创 word2vec
常用、流行的词嵌入方法，就是Word2Vec。这是Tomas Mikolov在谷歌工作时发明的一类方法，也是由谷歌开源的一个工具包的名称。具体来说，Word2Vec中涉及到了两种算法，一个是CBOW一个是Skip-Gram。这也是因为深度学习流行起来之后，基于神经网络来完成的Word Embedding方法。当前Deep Learning在NLP领域的三个阶段为还有BERT的变形ALBERT...
2019-12-10 15:24:07
109
原创 DCGAN
上一篇介绍了GAN 的基本原理以及相关的概念和知识点，同时也反映出GAN 的一些缺点，比如说训练不稳定，生成过程不可控，不具备可解释性等。这一篇就来看看GAN 的改进版之一，DCGAN（Deep Convolutional GAN）。1. 相比于GAN 的改进DCGAN 相比于GAN 或者是普通CNN 的改进包含以下几个方面：(1)使用卷积和去卷积替换池化，即将pooling层convolu...
2019-11-19 16:45:54
1103
2
原创 SimpleGan
上篇的全部代码import argparseimport numpy as npfrom scipy.stats import normimport tensorflow as tfimport matplotlib.pyplot as pltfrom matplotlib import animationimport seaborn as snssns.set(color_co...
2019-11-17 13:45:59
260
原创 构造G和D网络
一、建立生成模型 with tf.variable_scope('Gen'): # 伪造数据的生成 self.z = tf.placeholder(tf.float32, shape=(self.batch_size, 1)) self.G = generator(self.z, self.mlp_hidden...
2019-11-17 12:06:32
814
原创 D_pre
一、构建D和GD是判别网络，有两个输入：希望判别fake输出为0，real输出为1.G（x）,x表示噪音的数据，噪音的数据先通过G的网络进行生成，然后放入D，让判别网络来判别生成的数据为真还是假。x^表示真实输入为real。G为生成网络，首先由一个噪音的输入，没有任何规则，希望G网络通过一系列的参数，比如说θ，将x生成为G(x)，G(x)能够与real数据越接近越好二、D_preD网络...
2019-11-17 11:29:50
579
原创 生成对抗网络原理
基本思想假设有一种概率分布M，它相对于我们是一个黑盒子。为了了解这个黑盒子中的东西是什么，我们构建了两个东西G和D，G是另一种我们完全知道的概率分布，D用来区分一个事件是由黑盒子中那个不知道的东西产生的还是由我们自己设的G产生的。不断的调整G和D，直到D不能把事件区分出来为止。在调整过程中，需要：1、优化G，使它尽可能的让D混淆。2、优化D，使它尽可能的能区分出假冒的东西。当D无法区分出...
2019-11-16 19:59:34
517
原创 Faster RCNN
概念理解https://zhuanlan.zhihu.com/p/31426458simple-faster-rcnn-pytorch版 https://zhuanlan.zhihu.com/p/32404424faster-rcnn原理场景文字检测—CTPNhttps://zhuanlan.zhihu.com/p/34757009...
2019-11-15 16:49:36
82
原创 关于Win10+GTX1060显卡下安装Tensorflow-gpu1.14
一、安装anaconda不多说了，自己去官网搞一个，一路狂点next就行了二、安装tensorflow1、cpu版本就不说了直接pip install tensorflow==1.14（自己想装的版本）2、安装gpu版本(i)、安装cuda先去NVIDIA官网下一个CUDA10.1（我自己是10.1）放在C:\Program Files\NVIDIA GPU Computing...
2019-11-15 16:05:19
1086
原创 tensorfolw_训练验证码
使用captcha.image.Image 生成随机验证码，随机生成的验证码为0到9的数字，验证码有4位数字组成,这是一个自己生成验证码，自己不断训练的模型使用三层卷积层，三层池化层，二层全连接层来进行组合1、定义生成随机验证码图片number = ['0','1','2','3','4','5','6','7','8','9']# alphabet = ['a','b','c','d',...
2019-11-13 10:02:16
140
原创 tensorflow_RNN
第一步： 数据载入import tensorflow as tf#from tensorflow.contrib import rnnfrom tensorflow.examples.tutorials.mnist import input_dataimport numpy as npimport matplotlib.pyplot as pltprint ("Packages i...
2019-11-12 12:01:34
502
原创 tensorflow_VGG
import scipy.ioimport numpy as np import os #import scipy.misc import imageioimport matplotlib.pyplot as plt import tensorflow as tf网络结构def _conv_layer(input, weights, bias): #VGG网络结构已经确定...
2019-11-08 17:13:02
160
原创 tensorflow_save_CNN
同上一篇import numpy as npimport tensorflow as tfimport matplotlib.pyplot as pltimport input_datamnist = input_data.read_data_sets('data/', one_hot=True)trainimg = mnist.train.imagestrainlabel =...
2019-11-08 11:03:04
99
原创 tensorflow_CNN
数据准备import numpy as npimport tensorflow as tfimport matplotlib.pyplot as pltimport input_datamnist = input_data.read_data_sets('data/', one_hot=True)trainimg = mnist.train.imagestrainlabel ...
2019-11-07 19:04:11
86
原创 tensorflow_神经网络
import numpy as npimport tensorflow as tfimport matplotlib.pyplot as pltimport input_datamnist = input_data.read_data_sets('data/', one_hot=True)初始化参数# NETWORK TOPOLOGIESn_hidden_1 = 256 n_...
2019-11-06 20:55:35
75
原创 tensorflow_逻辑回归
import numpy as npimport tensorflow as tfimport matplotlib.pyplot as pltimport input_datamnist = input_data.read_data_sets('data/', one_hot=True)trainimg = mnist.train.imagestrainlabel = ...
2019-11-06 20:07:26
59
原创 tensorflow_minist
import numpy as npimport tensorflow as tfimport matplotlib.pyplot as plt#from tensorflow.examples.tutorials.mnist import input_dataimport input_dataprint ("packs loaded")下载数据集print ("Download...
2019-11-06 17:17:25
107
原创 tensorflow线性回归
生成样本打印import numpy as npimport tensorflow as tfimport matplotlib.pyplot as plt# 随机生成1000个点，围绕在y=0.1x+0.3的直线周围num_points = 1000vectors_set = []for i in range(num_points): x1 = np.random.nor...
2019-11-06 16:43:56
56
原创 tensorflow变量
创建行向量w = tf.Variable([[0.5,1.0]])创建列向量x = tf.Variable([[2.0],[1.0]]) 相乘y = tf.matmul(w, x) 全局初始化创建会话的图，将w、x放在会话中打印y的值init_op = tf.global_variables_initializer()with tf.Session() as sess...
2019-11-06 11:18:33
85
转载 Faster R-CNN - 目标检测详解
https://blog.csdn.net/zziahgf/article/details/79311275
2019-10-31 16:42:38
98
原创 长短时记忆网络LSTM(基本理论)
为了解决RNN中出现的问题(梯度消失和弥散)，所以有LSTM长短时记忆网络总体框架将LSTM分为一小部分一小部分RNN最大的问题就是不会忘记，LSTM会决定，选择有价值的保留，没价值的舍弃，需要设定控制参数。比如[0,0.5,1]，0舍弃，0.5部分保留，1保留，那么C是如何做到的？x号表示门，sigmoid和乘的操作整个LSTM网络...
2019-10-30 21:13:34
460
转载 循环神经网络RNN(基本理论)
递归神经网络目的是为了利用中间信息(feature)，中间信息的保留，例如，“我出生在中国，所以我说中国话”,“说"后面可以跟很多词，但是如果已知出生在中国，那么"中国话"这个词的预测概率就会大幅上升。1先对话分词，将分词结果往里输入，当做RNN每一步的输入值，当然，每一步的中间结果并不是一定要追求的，目的是最后的输出结果，比如"我"并不是重要的，重要的是"说”，RNN适用于自然语言处理R...
2019-10-30 20:44:14
192
原创 卷积神经网络的反向传播
首先是池化层，比较简单而后是卷积层先说一下前向传播第n个bitch，c通道,h,w为输入的高和宽(这里9x9)，用3个3x3的filter提取出3个4x4的特征图(feature map)，反向传播前向传播中wx=out，那么反向传播就用dout*x得到dw[0,0,:,:],dw[0,1,:,:],dw[0,2,:,:]。(每个通道)dw[1,:,:,:]也是一样的参考:...
2019-10-30 11:20:08
271
原创 2、卷积神经网络参数分析
stride滑动步长是经验之谈7x7的选择3x3的filter，当stride为2的时候输出为3x3为了利用边缘信息，需要填充Pad如图。计算公式(不知道怎么插入公式)例如输入32x32x3，用10个filter，滑动步长为1，填充pad为2带入计算公式算的out为32x32，又有10个filter，于是输出32x32x10权值共享特征图由10个32x32x1的特征图组成...
2019-10-27 21:47:01
466
原创 1、卷积神经网络计算过程
A为神经网络，B为卷积神经网络卷积神经网络的组成假设现在有一个图像输入，用一个filter进行卷积，提取出来特征图计算过程如下，3通道的图要用3通道的filter按通道依次对应相乘，然后w0(11)=f11+f12+f13=2而b0=1，所以wx+b=3，out的第一个位子为3而后stride滑动步长取2,计算同上依次算完o[:,:,0]的9个方格，o[:,:,1]将w1、b1...
2019-10-25 16:43:31
1936
原创 手动实现一个简单的神经网络
首先定义sigmoid函数import numpy as npdef sigmoid(x,deriv = False):#前向传播 if (deriv ==True):#反向传播 return x*(1-x)#sigmoid求导注意传入的参数为sigmodid函数 return 1/(1+np.exp(-x))给初值和标签x = np.array([[0,...
2019-10-23 22:21:45
391
原创 神经网络
不需要刻意去定义神经元，不需要什么结构体、类之类的来定义神经元！！！不过是为了方便理解，画的的圆圈而已！！也可以理解为W参数后面要连接的东西神经网络w1左边连接输入层， 右边连接隐层1，为3x4的矩阵对于这个神经网络，他的得分函数为w3[w2(w1x1)]=out(还要加激活函数)对于该模型需要指定w1,w2,w3的shape的大小，比如w1为3x4大小的。那么为什么要存在隐层呢？...
2019-10-23 17:01:16
140
1
原创 反向传播
1、图中损失值loss为f=-12，想要知道x、y、z分别对f有多大的影响。希望loss越小越好2、f对z的偏导为q，q=3,则希望z越越小越好3、要计算f对x的偏导，需要先计算f对q的偏导，为z=-4，再算q对x的偏导为1，则f对x的偏导为-4，希望x越大越好，同理f对y的偏导也为-4越大越好遵循链式法则只能一层一层的往前传下面举稍微复杂的例子对1/x进行求导为-1/x^2，将1...
2019-10-22 21:14:15
238
原创 梯度下降法算法原理
神经网络BP算法通过前向传播获得loss值，再反向传播优化权重参数W，W起点一般是随机初始化。用BP算法的时候，不是一次迭代1张图像，而是一次迭代多张，data_batch在数据集中一次取出256个数据，组成1个batch学习率step_size乘上更新的梯度weights_grad，就完成了对weights的一次更新epoch:假设训练集有4000张图像，将4000张图像都跑完叫做...
2019-10-22 20:17:12
479
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人