tensorflow
TransientYear
凑个32块的整
展开
-
tensorflow 循环神经网络 之 梯度弥散与梯度爆炸
9.5 RNN 梯度弥散与梯度爆炸RNN 存在问题梯度爆炸梯度弥散RNN 存在问题RNN 并不完美,会出现梯度弥散或者梯度爆炸的现象。事实上,在无限的时间序列上展开,效果会一直非常好?答案并不是ht=tanh(WIxt+WRht−1)h_{t}=\tanh \left(W_{I} x_{t}+W_{R} h_{t-1}\right)ht=tanh(WIxt+WRht−1)...原创 2019-06-24 14:49:32 · 568 阅读 · 0 评论 -
tensorflow 2.0 随机梯度下降 之 梯度下降
6.1 梯度下降梯度含义梯度下降实例优化过程一优化过程二自动求导二阶梯度梯度导数,derivative偏微分,partial derivative梯度,gradient∇f=(∂f∂x1,∂f∂x2,...,∂f∂xn)\nabla f = (\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},......原创 2019-05-07 12:27:42 · 2696 阅读 · 0 评论 -
tensorflow 2.0 随机梯度下降 之 MLP反向传播
6.7 MLP反向传播多输出感知机MLP 反向传播推导多输出感知机MLP 反向传播推导总结:对 于 一 个 输 出 层 的 节 点 k∈Kk \in Kk∈K:∂E∂wjk=Ojδk\frac{\partial E}{\partial w_{jk}}=O_j\delta_k∂wjk∂E=Ojδk这 里,δk=Ok(1−Ok)(Ok−tk)\delta_k=O_k(1-...原创 2019-05-09 14:55:12 · 701 阅读 · 0 评论 -
tensorflow 2.0 随机梯度下降 之 求导链式法则
6.6 求导链式法则链式法则链式法则求导法则公式∂y∂x=∂y∂u∂u∂x\frac{\partial y}{\partial x} = \frac{\partial y}{\partial u}\frac{\partial u}{\partial x}∂x∂y=∂u∂y∂x∂ux = tf.constant(1.)w1 = tf.constant(2.)b1 = tf.co...原创 2019-05-09 14:41:40 · 857 阅读 · 0 评论 -
tensorflow 2.0 随机梯度下降 之 多输出感知机梯度
6.5 多输出感知机梯度多输出感知机多输出感知机x=tf.random.normal([1,3])w=tf.ones([3,2])b=tf.ones([2])y = tf.constant([0, 1])with tf.GradientTape() as tape: tape.watch([w, b]) logits = tf.sigmoid(x@w+b) lo...原创 2019-05-09 14:37:50 · 395 阅读 · 0 评论 -
tensorflow 2.0 随机梯度下降 之 单输出感知机梯度
6.4 单输出感知机反向传播单一输出感知机单一输出感知机x=tf.random.normal([1,3])w=tf.ones([3,1])b=tf.ones([1])y = tf.constant([1])with tf.GradientTape() as tape: tape.watch([w, b]) logits = tf.sigmoid(x@w+b) l...原创 2019-05-09 14:31:36 · 308 阅读 · 0 评论 -
tensorflow 2.0 随机梯度下降 之 损失函数及其梯度
6.3 损失函数及其梯度MSEcross entropyMSEloss=1N∑(y−out)2loss = \frac{1}{N}\sum (y-out)^2loss=N1∑(y−out)2 这里 N=B∗NumOfClassN = B * NumOfClassN=B∗NumOfClassL2−norm=∑(y−out)2L_{2-norm} = \sqrt{\sum(y-out)^2...原创 2019-05-09 14:27:24 · 2686 阅读 · 0 评论 -
tensorflow 2.0 随机梯度下降 之 激活函数及其梯度
6.2 激活函数及其梯度sigmoidtanhRectified Linear Unitsigmoidf(x)=σ(x)=11+e−xf(x) = \sigma(x) = \frac{1}{1+e^{-x}}f(x)=σ(x)=1+e−x1a = tf.linspace(-10., 10., 10)with tf.GradientTape() as tape: tape.watc...原创 2019-05-09 14:02:47 · 618 阅读 · 0 评论 -
tensorflow 2.0 神经网络与全连接层 之 损失函数
5.5 损失函数常用损失函数MSECross EntropyEntropycross entropy多分类函数API类API二分类Why not MSE?分类问题网络流程 与 数值的稳定性常用损失函数MSE交叉熵损失Hinge Loss (支持向量机)∑imax(0,1−yi∗hθ(xi))\sum_i max(0, 1-y_i*h_\theta(x_i))∑imax(0,1−yi...原创 2019-05-06 17:42:28 · 1826 阅读 · 0 评论 -
tensorflow 2.0 神经网络与全连接层 之 输出方式
5.4 输出方式输出范围实数范围零一之间零一之间 和为一负一一之间输出范围不同的应用,不同的场景输出范围是不同的。y∈Rdy \in R^dy∈Rd 整个实数范围。yi∈[0,1],i=0,1,...,yd−1y_i \in [0,1],i = 0,1,...,y_d-1yi∈[0,1],i=0,1,...,yd−1 多分类每类的概率为零一之间。yi∈[0,1],∑i=0ydyi=...原创 2019-05-06 14:36:55 · 2317 阅读 · 0 评论 -
tensorflow 2.0 随机梯度下降 之 函数优化实例
6.2 Himmelblau 函数优化Himmelblau 函数Minima 四个最小值点打印观测梯度下降Himmelblau 函数f(x,y)=(x2+y−11)2+(x+y2−7)2f(x,y)=(x^2+y-11)^2+(x+y^2-7)^2f(x,y)=(x2+y−11)2+(x+y2−7)2Minima 四个最小值点f(3.0,2.0)=0.0f(3.0, 2.0) = 0...原创 2019-05-07 12:48:42 · 1610 阅读 · 0 评论 -
tensorflow 2.0 随机梯度下降 之 FashionMNIST实战
6.3 layer FashionMNIST 实战数据预处理建立网络前向传播 梯度回传测试完整代码数据预处理def preprocess(x, y): x = tf.cast(x, dtype=tf.float32) / 255. y = tf.cast(y, dtype=tf.int32) return x, y(x, y), (x_test, y_test)...原创 2019-05-07 13:47:40 · 655 阅读 · 3 评论 -
tensorflow 2.0 循环神经网络 之 情感分类实战
9.4 情感分类实战两种方法 (IMDB数据集)IMDB 数据集加载定义 RNN训练测试两种方法 (IMDB数据集)SimpleRNNCell (易理解其原理)single layermulti-layersRNNCellIMDB 数据集加载加载 IMDB 数据集。# the most frequest wordstotal_words = 10000 #...原创 2019-06-22 16:23:52 · 1173 阅读 · 0 评论 -
tensorflow 2.0 循环神经网络 之 RNN Layer
文章目录RNN cellinput dim, hidden dimSingle layer RNN CellMulti-Layers RNNRNN cell输入: x:[batch,seq_len,feature_len]x:[batch, seq\_len, feature\_len]x:[batch,seq_len,feature_len]  ...原创 2019-06-21 14:15:39 · 1369 阅读 · 0 评论 -
tensorflow 2.0 循环神经网络 之 RNN
文章目录语义分析提出模型解决参数量大的问题-Weight sharing解决没有语义相关性-Consistent memory语义分析提出模型存在问题:每个单词全连接,参数量极大。没有语义相关性。解决参数量大的问题-Weight sharing通过权值共享来极大减少参数量。解决没有语义相关性-Consistent memory通过一致性内存机制来产生单词之间的语义相关和...原创 2019-06-20 17:01:53 · 1833 阅读 · 0 评论 -
tensorflow 2.0 循环神经网络 之 序列表示方法
9.1 序列表示方法前言序列表示方法[b, 100, 1]前言世界上除了像图片一样的位置数据,还有序列信号,文字,语句,这类序列数据数据。图片(位置)数据处理:序列数据:语音,文字。 Sequence序列表示方法Sequence embedding[b, seq_len, feature_len] (句子数, 句子长度,单词长度)e.g. I like it....原创 2019-06-10 18:19:04 · 471 阅读 · 0 评论 -
tensorflow 2.0 keras 高层接口 之 keras实战(FC)
7.4 keras实战(FC)数据集 CIFAR10全连接层实战keras 实战 CIFAR10数据集 CIFAR10CIFAR 加拿大研究机构10 类像素 32x32最好的准确率也不足8成全连接层注意:不设置 bias。实战import tensorflow as tffrom tensorflow.keras import datasets, la...原创 2019-06-04 11:23:46 · 899 阅读 · 0 评论 -
tensorflow 2.0 keras 高层接口 之 模型的加载与保存
7.3 模型的保存与加载Outlinesave/load weights完整代码save/load model完整代码saved_modelOutlinesave/load weightssave/load entire modelsaved_modelsave/load weights保存权值建立同样结构的模型加载权值使用模型# save weightsnetwor...原创 2019-06-03 16:26:48 · 1263 阅读 · 0 评论 -
tensorflow 2.0 keras 高层接口 之 自定义层网络
7.2 自定义网络Outlinekeras.SequentialLayer/Model完整代码Outlinekeras.SequentialKeras.layers.LayerKeras.Model注:要想使用 Sequential 必须遵循一些协议。自定的层继承至 Keras.layers.Layer 类。自己的模型也必须要继承至 Keras.Model 类 。k...原创 2019-06-03 14:53:06 · 1871 阅读 · 0 评论 -
tensorflow 2.0 keras高层接口 之 API-metrics&compile&fit
7.1 keras高层API-MetricsKerasmetrics完整代码Keras这里说的 Keras 指的是 tf.keras。实际上 Keras 是高层的 wrapper。使用的 keras 主要是用其五个功能。datasetslayerslossesmetricsoptimizersmetrics事实上此 API 没有方便很多,可以自己实现记录 loss 与 ...原创 2019-05-24 17:18:13 · 4334 阅读 · 3 评论 -
tensorflow 2.0 随机梯度下降 之 tensorboard可视化
6.4 可视化工具TensorBoard工作原理完整代码工具TensorBoardVisdomTensorBoardinstallationpip install tensorboardCurves (accuary, loss)images visualization工作原理监听目录 (listen logdir)建立 summary 实例 (buil...原创 2019-05-07 14:41:23 · 3481 阅读 · 1 评论 -
tensorflow 2.0 神经网络与全连接层 之 全连接层 (Class API)
5.3 全连接层深度学习发展基础全连接层多层全连接层深度学习发展基础大数据激活函数DropOutBatchNormResNet初始化深度学习框架 caffe/Pytorch/tensorflow计算能力 (显卡)…全连接层x = tf.random.normal([4, 784])net = tf.keras.layers.Dense(512)out = net(...原创 2019-04-30 13:04:28 · 6024 阅读 · 0 评论 -
tensorflow 2.0 神经网络与全连接层 之 数据加载
5.1 数据加载Outlinekeras.datasetMNIST 数据集CIFAR10/100tf.data.Datasetfrom_tensor_slices().shuff.map.batchStopIteration.repeatOutlinekeras.datasetstf.data.Dataset.from_tensor_slicesshufflemapbatchre...原创 2019-04-24 17:44:32 · 764 阅读 · 0 评论 -
tensorflow 2.0 高阶操作 之 数据统计
4.2 tensor 数据统计OutlineNorm 求范数Reduce_min\max\mean 求最值Argmax/Argmin 求最值位置Equal 比较Accuracy 求精度示例Unique Gather 去重与还原Outlinetf.normtf.reduce_min/maxtf.argmax/argmintf.equaltf.uniqueNorm 求范数a = ...原创 2019-04-19 18:46:29 · 666 阅读 · 0 评论 -
tensorflow 2.0 基础操作 之 tensor 创建(初始化)大全
3.2 tensor 的创建from numpy or listtf.zerostf.zeros_liketf.onestf.ones_liketf.filltf.random.normaltf.random.truncated_normaltf.random.uniformRandom Permutationfrom numpy or listtf.convert_to_tensortf...原创 2019-04-13 14:36:13 · 17595 阅读 · 0 评论 -
tensorflow 2.0 基础操作 之 Broadcasting机制
3.4_ BroadcastingBroadcasting 机制主要过程理解优点能否 Broadcasting练习tf.broadcast_toBroadcast VS Tile张量维度扩张的手段,但是没有在数据层面上的复制。是一种数据优化的手段。高效且直观。Broadcasting 机制expandwithout copying dataVS tf.tile 进行数据层面上的 c...原创 2019-04-16 14:30:35 · 3032 阅读 · 0 评论 -
tensorflow 2.0 基础操作 之 维度变换
3.4 维度变换tf.shape, tf.ndimtf.reshapetf.transposetf.expand_dimtf.squeezetf.shape, tf.ndima = tf.random.normal([4, 28, 28, 3])a.shape # TensorShape([4, 28, 28, 3])a.ndim # 4 (int)tf.reshapea =...原创 2019-04-16 11:11:48 · 3380 阅读 · 1 评论 -
tensorflow 2.0 基础操作 之 数据类型
3.1 tensorflow 数据类型数据类型创建intfloatdoubleboolstringTensor 的属性deviceshapendim == tf.rank(t)检查Tensor 的类型isinstancetf.is_tensor类型变换numpy2tensortensor 间类型转换bool2inttf.Variable2numpyTensorflow是一个计算库!!!数据类型...原创 2019-04-12 20:29:14 · 1380 阅读 · 3 评论 -
PyTorch 与 TensorFlow 中的布尔类型与 str 类型
文章目录Pytorch 中的布尔类型Pytorch 中的 str 类型tensorflow 中的布尔类型tensorflow 中的 str 类型Pytorch 中的布尔类型pytorch 中没有对布尔类型的支持。用 0 & 1 来表示。import torcha = torch.tensor(1.)b = torch.tensor(1.)a == b # tensor(1, ...原创 2019-04-12 17:07:11 · 4228 阅读 · 0 评论 -
tensorflow 2.0 实战-Minst
2. 手写字体识别数据载入搭建全连接网络计算输出和 Loss计算梯度与回传Loop数据载入import osimport tensorflow as tffrom tensorflow import kerasfrom tensorflow.keras import layers, optimizers, datasetsos.environ['TF_CPP_MIN_LOG_LEVE...原创 2019-04-12 11:52:12 · 1954 阅读 · 2 评论 -
tensorflow 设置日志级别
源码:namespace tensorflow{const int INFO = 0; //base_loging::INFOconst int WARNING = 1; //base_loging::WARNINGconst int ERROR = 2; //base_loging::ERRORconst int FATAL = 3; //base_loging::F...原创 2019-04-12 11:26:27 · 811 阅读 · 0 评论 -
tensorflow2.0 优势
1. tensorflow 2.0 的优势gpu 加速自动求导神经网络的Layersgpu 加速import tensorflow as tfimport timeitwith tf.device('/cpu:0'): cpu_a = tf.random.normal([10000, 1000]) cpu_b = tf.random.normal([1000, 2000]) pr...原创 2019-04-11 14:16:41 · 2095 阅读 · 0 评论 -
tensorflow 2.0 alpha安装
pip install -U --pre tensorflow原创 2019-04-10 18:07:44 · 1406 阅读 · 0 评论 -
tensorflow 2.0 基础操作 之 不同 dim 对应的具体含义
3.2_ 不同dim对应的具体含义Scalar (dim=0)Vector (dim=1)Matrix (dim=2)Tensor (dim=3)Tensor (dim=4)Tensor (dim=5)Scalar (dim=0)[]0, 1, 3.2, …loss=mse(out,y)loss = mse(out, y)loss=mse(out,y)accuracya...原创 2019-04-13 17:04:16 · 2281 阅读 · 2 评论 -
tensorflow 2.0 高阶操作 之 张量排序
4.3 张量排序OutlineSort/argsortTop_kTop_k accuracyOutlineSort/argsortTopkTop-5 Acc.Sort/argsorta = tf.random.shuffle(tf.range(5))# <tf.Tensor: id=25, shape=(5,), dtype=int32, numpy=array([3, 2...原创 2019-04-21 11:47:27 · 2048 阅读 · 5 评论 -
tensorflow 2.0 神经网络与全连接层 之 张量实战
5.2 张量实战测试/验证(Test/Evaluation)精确度(Accuracy)完整代码小结测试/验证(Test/Evaluation)train/evaluation/test splittingStop at the best epochUse the best epoch model to p精确度(Accuracy)Pred: [Y, Y, Y, N, Y, N, ...原创 2019-04-27 16:42:47 · 832 阅读 · 0 评论 -
tensorflow 2.0 高阶操作 之 tensor合并与分割
4.1 tensor高阶操作ConcatStackUnstackSplitConcatStatistics about score[class1-4, students, scores][class5-6, students, scorea = tf.ones([4, 35, 8])b = tf.ones([2, 35, 8])c = tf.concat([a, b], axi...原创 2019-04-18 14:44:57 · 2846 阅读 · 0 评论 -
tensorflow 2.0 基础操作 之 索引与切片
3.3 索引与切片Basic indexingNumpy-style indexingstart:endIndexing by :Indexing by ::::-1...Selective Indexingtf.gathertf.gather_ndtf.boolean_masktensorflow 中索引与切片可以使用 numpy 风格的形式。Basic indexingBasic in...原创 2019-04-15 11:45:25 · 2525 阅读 · 0 评论 -
tensorflow 2.0 高阶操作 之 高阶OP
4.6 高阶操作Outlinewherewhere(tensor)where(cond, A, B)scatter_ndone dimmulti-dimmeshgridpointsnumpy 实现tensorflow 实现plotOutlinewhere 根据坐标 有目的性的选择scatter_nd 根据坐标 有目的性的更新meshgrid 生成坐标系wherewhere(tens...原创 2019-04-22 14:54:05 · 614 阅读 · 0 评论 -
tensorflow 2.0 高阶操作 之 张量限幅
4.5 张量限幅Outlineclip_by_valuereluclip_by_normGradient clippingbefore gradient clippinggradient clippingafter gradient clippingOutlineclip_by_value 根据具体的值裁剪relu 线性修正单元clip_by_norm 根据范数值裁剪gradie...原创 2019-04-22 11:53:25 · 478 阅读 · 0 评论