normalization总结和实现

本博文大量引用张俊林老师的专栏:https://zhuanlan.zhihu.com/p/43200897 内化于己 默认你已经略懂BN,至少读过batch normalization论文! 介绍 normalization分为针对输入激活函数数据和权重两种方式。 1.输入激活函数数据 最为广泛使...

2019-01-08 17:20:19

阅读数:29

评论数:0

python魔法方法介绍

魔法方法就是pthon中类里一些__xxx__() 这种形式的函数。功能强大。 第一个当然是初始的创建方法 1. __init__(self[, ]) 初始化一个类,意义自明 2. __str__(self[, ])和__repr__(self[, ]) __str__(a)等价于str(a);_...

2019-01-06 01:29:41

阅读数:14

评论数:0

Bert论文浅析

本博文默认你对:Word2Vec / ELMo / transformer / OpenAI GPT 有一定了解 bert是Google于今年10月提出的模型,该模型打破了多项NLP的记录,甚是牛逼。 先导知识介绍 part1 对图像领域有些了解的同学,肯定经常能看见,这个网络那个网络,动不动拿I...

2019-01-05 16:33:04

阅读数:56

评论数:0

tf的clip_gradient实现

首先,我们平常再实现一次BP tf.train.GradientDescentOptimizer(0.01).minimize(loss) 但是查看minimize()的源码 grads_and_vars = self.compute_gradients( loss, var_l...

2019-01-02 11:34:36

阅读数:24

评论数:0

git命令记录

安装就不谈了 0.全局配置 git config --list查看全局所有的配置列表 git config --global user.name 'your_name'配置全局用户名 git config --global user.email 'your_email'配置全局邮箱 这里最好就是...

2018-12-31 00:43:46

阅读数:8

评论数:0

(python)threading模块简单讲解

由浅入深 1.创建子线程 对于threading模块有两种创建子线程的方法 1.1继承threading.Thread类,并重写run() 继承后重写 .start()开始子线程,使之进入run() import threading class MyThread(threading.Thr...

2018-12-26 21:52:05

阅读数:12

评论数:0

python中的奇技淫巧

1.zip()和zip(*) a = [[1,2], [3,4], [5,6],[7,8]] b = ["x1", "x2", "x3", &...

2018-12-25 15:51:00

阅读数:11

评论数:0

python基础

注:python中和C/C++一样的性质,均被略过 本博文将简单解释这部分知识,比较简单,但也相对很基础!将使用idle讲解 1.子函数中不能改变全局变量 >>> a = 'globals' &amp...

2018-12-25 15:03:26

阅读数:10

评论数:0

tf.summary简单解析

Summary是为了给tensorboard提供数据,而tensorboard在tensorflow是一种非常方便和实用的内置可视化工具,但可视化对程序来说显然不是必须的。 其中包含以下几种数据结构: Scalars Images Audio Graph Distribution Histogr...

2018-12-20 13:30:42

阅读数:38

评论数:0

tf读取数据的几种方式

1.最简单的方式 import tensorflow as tf a = tf.zeros([2,3]) b = tf.ones([2,3]) c = tf.add(a, b) with tf.Session() as sess: print(sess.run(b)) 直接读取已经预...

2018-12-19 01:11:38

阅读数:204

评论数:0

简单LSTM代码讲解

仅供本人参考,错了概不负责 part1 图源:https://www.zhihu.com/question/41949741/answer/309529532 我们在使用tf.nn.rnn_cell.BasicLSTMCell时,有一个要自己设置的参数 num_units,先讲讲这玩意是啥? 这...

2018-12-16 17:24:32

阅读数:41

评论数:0

tf.Variable和tf.get_variable()异同

相同点: 都是创建Variable对象 创建后的variable如果collection参数是默认,都保存[tf.GraphKeys.GLOBAL_VARIABLES] 这个tf内部维护的collection中 当参数trainable为True时,同时也保存在[GraphKeys.T...

2018-12-16 16:31:51

阅读数:30

评论数:0

TF训练相关函数

1.指数衰减学习率 目的: 一开始较快速度收敛 之后快收敛时,更加稳定得收敛至最优解 def exponential_decay(learning_rate, global_step, decay_step...

2018-12-14 20:42:46

阅读数:27

评论数:0

tf.assgin函数想到的tf计算图的流动机制

还挺有意思的,大家都知道 tf.assign_add(ref, value) 系列的tf.assign/tf.assign_add等等函数在运行后,会更新ref为新值:ref+value,同时返回值也是ref+value 但是当代码是 a = tf.Variable(1.0) tf.assign...

2018-12-14 14:43:37

阅读数:24

评论数:0

FastText概要

两个用途 构建字符级别N-gram的词向量 实现快速文本分类 1.实现快速文本分类 结构类似Word2Vec的CBOW模型 两者不同点: word2vec:输入为每个单词的one-hot,并通过1~t-1,t+1~N的单词预测t个单词,预测的W(t)通过one-hot表示;得...

2018-12-12 16:16:41

阅读数:32

评论数:0

Word Embedding概要

仅供本人参考,错了概不负责 一、Word2Vec 思路:one-hot的word represents信息太离散,不符合客观现实。考虑如何把信息整合,使之不那么sparse? 两种方式 1. Skip-Gram 2. CBOW 下图为window size = 2,中间次和周围词的...

2018-11-05 22:07:07

阅读数:24

评论数:0

np.lib.pad

用处,对于不同pad操作的实现 原型 def pad(array, pad_width, mode, **kwargs): array是要pad的matrix,pad_width时pad规则,mode时pad方式 其参数参看源码易学习到 主要讲解pad_width参数 Number...

2018-10-07 20:30:19

阅读数:119

评论数:0

tensorflow中一些常用函数记录

简单函数不给用例 tf.nn.moments 函数原型 def moments( x, axes, shift=None, # pylint: disable=unused-argument name=None, keep_dims=False):...

2018-10-07 11:35:05

阅读数:39

评论数:0

C++学习笔记进阶:cin>> cin.getline() string库中的getline()

本文引用他人博客链接po出来: https://blog.csdn.net/a1015553840/article/details/50579396 https://www.cnblogs.com/hchacha/p/6517564.html   1.cin函数 cin&...

2018-09-11 00:20:23

阅读数:86

评论数:0

C++学习笔记:指针相关

1.引用和指针 实际是一个变量的别名,类型 &来声明 与指针的不同: 1、并且不能为NULL,且一定要初始化,不能改变;指针可以为NULL,且可以指向不同的对象 2、不能有多级引用;指针可以有多级 3、++ 和 -- 操作,指针是对地址,引用是对引用的变量操作;引...

2018-09-02 16:58:57

阅读数:26

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭