深度学习中的范数

范数简述 我们知道距离的定义是一个宽泛的概念,只要满足非负、自反、三角不等式就可以称之为距离。 范数是一种强化了的距离概念,它在定义上比距离多了一条数乘的运算法则。有时候为了便于理解,我们可以把范数当作距离来理解。 即表示一种到坐标原点距离的度量。 例如:二阶范数(也称L2范数)是最常见的范数,即...

2019-05-14 21:54:51

阅读数 13

评论数 0

UML描述的模型中常见关系及表示方法

请注意,这篇博客描述的是统一建模语言UML用于描述模型时的内部关系,常见的Java的类图只是其中一个具体的实现。 模型内部组件关系类型 泛化(generalization) 关联(association) 依赖(dependency) 实现(realization) 聚合(aggreg...

2019-03-20 20:10:36

阅读数 48

评论数 0

tensorflow入门:CNN for MNIST

使用tensorflow构建如上图所示的CNN用于对MNIST数据集进行softmax classification。 理论部分不再赘述,完整的代码如下: import tensorflow as tf import numpy as np from tensorflow.examples.t...

2019-02-16 20:02:38

阅读数 70

评论数 0

tensorflow 梯度下降方法小结

最一般的就是梯度下降。 train = tf.train.GradientDescentOptimizer(learning_rate=0.1).minimize(cost) 以下是除梯度下降之外可选的方法: tf.train.AdadeltaOptimizer tf.train.Adagrad...

2019-02-15 17:07:54

阅读数 109

评论数 0

tensorflow dropout实现

指定keep_prob即可,下面的例子使用了占位符。为了简便起见,直接给keep_prob赋一个定值可能更好,但占位符在每次运行时都可以指定keep_prob的值。 keep_prob = tf.placeholder('float') L1 = ... L1_d = tf.nn.dropou...

2019-02-15 16:53:50

阅读数 81

评论数 0

tensorflow xaiver初始化

这个很简单,封装好的,直接调用tf.contrib.layers.xavier_initializer()就可以。 # Xavier initialization on tensorflow W = tf.get_variable("W", shape=[78...

2019-02-15 16:49:23

阅读数 129

评论数 0

tensorflow入门:Neural Network for mnist

我们使用tensorflow实现上图的简单深度网络,用于mnist数据集预测模型的实现。理论方面不再赘述。 实现如下: import tensorflow as tf import random import matplotlib.pyplot as plt from tensorflow.e...

2019-02-15 15:52:29

阅读数 60

评论数 0

tensorflow入门:Softmax Classication

Softmax Softmax用于多元分类,同logistic regression一样使用cross entropy作为损失函数,其原理不再赘述。 另外,多元分类中我们使用one-hot编码来表示种类。 例:A,B,C三种类别的物体表示为[1, 0, 0],[0, 1, 0],[0, 0, 1]...

2019-02-14 22:03:25

阅读数 27

评论数 0

tensorflow入门:Logistic Regression

sigmoid函数 g(z)=11+e−zg(z) = \frac{1}{1+e^{-z}}g(z)=1+e−z1​ logistic使用sigmoid函数作为hypothesis,因为其值落于0和1之间,因此选定一个阀值就可以进行二元分类,这是机器学习的入门部分,理论不再赘述。 损失函数 我们...

2019-02-14 20:46:57

阅读数 46

评论数 0

tensorflow的运行机制

TensorFlow™ is an open source software library for numerical computation using data flow graph. tensorflow是一款开源的软件库,用于使用数据流图进行数值计算。 什么是数据流图? 数据流图是...

2019-02-14 19:28:07

阅读数 131

评论数 1

Tensorflow入门:Linear Regression

拟合上图的直线,这被称为线性回归,是机器学习最简单的入门问题,理论部分这里就不再赘述了。 线性回归的损失函数即为普通的平方均差。 tensorflow实现如下: # Linear Regression based on tensorflow import tensorflow as tf ...

2019-02-14 19:08:43

阅读数 39

评论数 0

日语动词变形总结

整理自《新版中日交流标准日本语》(第二版),部分变形记法参照新东方唐盾,因为盾盾桑的记法更容易记忆。 目录 序号 标日语法术语 学校语法术语 1 基本形 终止形,连体形 2 ます形 未然形+助动词“ます” 3 て形 连用形+接续助词“て” 4 ない形 未然形+助动词...

2019-01-30 16:00:38

阅读数 2487

评论数 0

序列模型第二周作业2:Emojify!

来自吴恩达深度学习系列视频:序列模型第二周作业2:Emojify!。如果英文对你来说有困难,可以参照:【中文】【吴恩达课后编程作业】Course 5 - 序列模型 - 第二周作业 - 词向量的运算与Emoji生成器,参照对英文的翻译并不能说完全准确,请注意这点。 完整的ipynb文件参见博主gi...

2019-01-20 11:34:06

阅读数 162

评论数 0

序列模型第二周作业1:Operations on word vectors

来自吴恩达深度学习系列视频:序列模型第二周作业1:Operations on word vectors。如果英文对你来说有困难,可以参照:【中文】【吴恩达课后编程作业】Course 5 - 序列模型 - 第二周作业 - 词向量的运算与Emoji生成器,参照对英文的翻译并不能说完全准确,请注意这点...

2019-01-19 21:03:37

阅读数 297

评论数 0

序列模型第一周作业3: Improvise a Jazz Solo with an LSTM Network

Improvise a Jazz Solo with an LSTM Network Welcome to your final programming assignment of this week! In this notebook, you will implement a model th...

2019-01-18 10:51:57

阅读数 146

评论数 0

序列模型第一周作业2: Character level language model - Dinosaurus land

Character level language model - Dinosaurus land Welcome to Dinosaurus Island! 65 million years ago, dinosaurs existed, and in this assignment they a...

2019-01-17 21:12:33

阅读数 345

评论数 0

序列模型第一周作业1: Building your Recurrent Neural Network - Step by Step

Building your Recurrent Neural Network - Step by Step Welcome to Course 5’s first assignment! In this assignment, you will implement your first Recur...

2019-01-17 16:54:14

阅读数 76

评论数 0

Bidirectional RNN (BRNN)

整理并翻译自吴恩达深度学习系列视频:序列模型第一周,有所详略。 Bidirectional RNN (BRNN) Prerequisite: Gated Recurrent Unit(GRU) Long Short term memory unit(LSTM)

2019-01-17 09:42:16

阅读数 198

评论数 0

Long Short term memory unit(LSTM)

整理并翻译自吴恩达深度学习系列视频:序列模型第一周。 Prerequisite:Gated Recurrent Unit(GRU) Long Short term memory unit(LSTM) GRU 和 LST的对比。 LTSM计算公式如下: C~&l...

2019-01-16 22:14:55

阅读数 132

评论数 0

Gated Recurrent Unit(GRU)

整理并翻译自吴恩达深度学习系列视频:序列模型第一周,有所详略。 Gated Recurrent Unit(GRU) Gated Recurrent Unit(GRU), which is a modification to the RNN hidden layer that makes it...

2019-01-16 21:52:34

阅读数 179

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭