Tensorflow
Tensorflow的相关知识
s.feng
计算机视觉,C++
展开
-
FLOPS和FLOPs
文章目录定义获取FLOPSFLOPs卷积层全连接层使用参考对手机或者pc芯片比较有兴趣的可能对flops这个字眼不陌生,比如苹果A14芯片性能,或者英伟达V100的算力怎么样都会出现flops, 如果做过ai模型剪枝的同学,可能在一些压缩框架比如distiller, ncnn, paddle.slim里也看到过flops, 问题来了,这两个flops是一个意思吗?定义FLOPS: 全大写,指每秒浮点运算次数,可以理解为计算的速度。是衡量硬件性能的一个指标。(硬件)FLOPs: s小写,指浮点运原创 2020-10-21 20:03:30 · 1868 阅读 · 0 评论 -
卷积加速
卷积转为矩阵乘法目前CPU和GPU中的数学库,对于矩阵乘法的优化有非常的好,所以我们可以将卷积转化为矩阵乘法就可以实现加速。卷积转为FFT计算学过信号处理的同学对于傅里叶变换很熟悉,就是将时域信号转为频域信号,计算就简单的多,然后再逆变换就可以啦...原创 2020-09-17 15:14:31 · 666 阅读 · 0 评论 -
Transformer的实现原理(tensor2tensor)
背景 最近在做机器翻译的优化,接触到的是谷歌在18年发布的transformer模型,在经历过一个星期后的算法原理和源码阅读后,基本上对整个模型有了相对透彻的理解,下面对整个流程进行复盘,避免以后自己忘记,后面也会对相关优化进行简单介绍。预处理在对翻译处理的过程,首先需要对一句话进行分词,比如“我是一个好学生”,分词出来后可能就是“我”,“是”,“一”,“ 个”,“好”,“...原创 2019-11-15 15:07:41 · 2644 阅读 · 5 评论 -
理解tensorflow中的tf.nn.depthwise_conv2d()
import tensorflow as tf# a为模拟的某一层feature map,大小为4*4,一共有3个通道a = tf.constant(value=[[[[1, 2, 3], [4, 5, 6], [7, 8, 9], [-1, 0, 1]], [[1, 2, 3], [4, 5, 6], [7, 8, 9], [-1, 0, 1]], ...原创 2019-06-27 17:14:00 · 2984 阅读 · 0 评论 -
Tensorflow替换静态图中的OP
import tensorflow as tfimport collectionsfrom tensorflow.core.framework import tensor_shape_pb2# 读取模型graph_def = tf.GraphDef()with tf.gfile.FastGFile('./pb/model.pb', 'rb') as f: graph_def....原创 2019-07-18 09:51:46 · 3068 阅读 · 2 评论 -
Tensorflow中张量,节点,命名理解
张量,节点,命名理解在定义静态图的时候,a = tf.constant([1.0,2.0],name='x')b = tf.constant([1.0,2.0],name='y')c = tf.add(a,b,name='nmsl')print(c)<tensor>:nmsl:0,shape,dtype)可以看出,c是一个tensor类型,所以tensor其...原创 2019-05-30 20:26:03 · 2564 阅读 · 1 评论 -
TensorFlow 中的identity()函数
identity:n.身份; 本身; 本体; 特征; 特有的感觉(或信仰); 同一性; 相同; 一致;identity的意思是自身的意思,简单说就是赋值。x = tf.Variable(0.0)y=x和下面的:x = tf.Variable(0.0)y=tf.identity(x)的区别在于,x是tensor类型,直接利用=只是拷贝内存,而y不会作为一个ten...原创 2019-06-04 10:34:17 · 4462 阅读 · 0 评论