扩展之Tensorflow2.0 | 17 TFrec文件的创建与读取
扩展之Tensorflow2.0 | 16 TF2读取图片的方法
扩展之Tensorflow2.0 | 15 TF2实现一个简单的服装分类任务
小白学PyTorch | 14 tensorboardX可视化教程
小白学PyTorch | 13 EfficientNet详解及PyTorch实现
小白学PyTorch | 12 SENet详解及PyTorch实现
小白学PyTorch | 11 MobileNet详解及PyTorch实现
小白学PyTorch | 10 pytorch常见运算详解
小白学PyTorch | 9 tensor数据结构与存储结构
小白学PyTorch | 8 实战之MNIST小试牛刀
小白学PyTorch | 7 最新版本torchvision.transforms常用API翻译与讲解
小白学PyTorch | 6 模型的构建访问遍历存储(附代码)
小白学PyTorch | 5 torchvision预训练模型与数据集全览
小白学PyTorch | 4 构建模型三要素与权重初始化
小白学PyTorch | 3 浅谈Dataset和Dataloader
小白学PyTorch | 2 浅谈训练集验证集和测试集
小白学PyTorch | 1 搭建一个超简单的网络
小白学PyTorch | 动态图与静态图的浅显理解
这个系列《小白学PyTorch》的所有代码和数据集放在了公众号【机器学习炼丹术】后台,回复【pytorch】获取(还在更新的呢):
还没有加入粉丝群的朋友抓紧啦,现在大群1群已经快满了~
参考目录:
1 创建自定义网络层
2 创建一个完整的CNN
2.1 keras.Model vs keras.layers.Layer
之前讲过了如何用tensorflow构建数据集,然后这一节课讲解如何用Tensorflow2.0来创建模型。
TF2.0中创建模型的API基本上都放到了它的Keras中了,Keras可以理解为TF的高级API,里面封装了很多的常见网络层、常见损失函数等。后续会详细介绍keras的全面功能,本篇文章讲解如何构建模型。
1 创建自定义网络层
import tensorflow as tf
import tensorflow.keras as keras
class MyLayer(keras.layers.Layer):
def __init__(self, input_dim=32, output_dim=32):
super(MyLayer, self).__init__()
w_init = tf.random_normal_initializer()
self.weight = tf.Variable(
initial_value=w_init(shape=(input_dim, output_dim), dtype=tf.float32),
trainable=True) # 如果是false则是不参与梯度下降的变量
b_init = tf.zeros_initializer()
self.bias = tf.Variable(initial_value=b_init(
shape=(output_dim), dtype=tf.float32), trainable=True)
def call(self, inputs):
return tf.matmul(inputs, self.weight) + self.bias
x = tf.ones((3,5))
my_layer = MyLayer(input_dim=5,
output_dim=10)
out = my_layer(x)
print(out.shape)
>>> (3, 10)
这个就是定义了一个TF的网络层,其实可以看出来和PyTorch定义的方式非常的类似:
- 这个类要继承
tf.keras.layers.Layer
,这个pytorch中要继承torch.nn.Module
类似; - 网络层的组件在
__def__
中定义,和pytorch的模型类相同; call()
和pytorch中的forward()
的类似。
上面代码中实现的是一个全连接层的定义,其中可以看到使用tf.random_normal_initializer()
来作为参数的初始化器,然后用tf.Variable
来产生网络层中的权重变量,通过trainable=True
这个参数说明这个权重变量是一个参与梯度下降的可以训练的变量。
我通过tf.ones((3,5))
产生一个shape为[3,5]的一个全是1的张量,这里面第一维度的3表示有3个样本,第二维度的5就是表示要放入全连接层的数据(全连接层的输入是5个神经元);然后设置的全连接层的输出神经元数量是10,所以最后的输出是(3,10)。
2 创建一个完整的CNN
import tensorflow as tf
import tensorflow.keras as keras
class CBR(keras.layers.Layer):
def __init__(self,output_dim):
super(CBR,self).__init__()
self.conv = keras.layers.Conv2D(filters=output_dim, kernel_size=4, padding='same', strides=1)
self.bn = keras.layers.BatchNormalization(axis=3)
self.ReLU = keras.layers.ReLU()
def call(self, inputs):
inputs = self.conv(inputs)
inputs = self.ReLU(self.bn(inputs))
return inputs
class MyNet(keras.Model):
def __init__ (self,input_dim=3):
super(MyNet,self).__init__()
self.cbr1 = CBR(16)
self.maxpool1 = keras.layers.MaxPool2D(pool_size=(2,2))
self.cbr2 = CBR(32)
self.maxpool2 = keras.layers.MaxPool2D(pool_size=(2,2))
def call(self, inputs):
inputs = self.maxpool1(self.cbr1(inputs))
inputs = self.maxpool2(self.cbr2(inputs))
return inputs
model = MyNet(3)
data = tf.random.normal((16,224,224,3))
output = model(data)
print(output.shape)
>>> (16, 56, 56, 32)
这个是构建了一个非常简单的卷积网络,结构是常见的:卷积层+BN层+ReLU层。可以发现这里继承的一个tf.keras.Model
这个类。
2.1 keras.Model vs keras.layers.Layer
Model比Layer的功能更多,反过来说,Layer的功能更精简专一。
- Layer:仅仅用作张量的操作,输入一个张量,输出也要求是一个张量,对张量的操作都可以用Layer来封装;
- Model:一个更加复杂的结构,由多个Layer组成。 Model的话,可以使用
.fit()
,.evaluate()
,.predict()
等方法来快速训练。保存和加载模型也是在Model这个级别进行的。
现在说一说上面的代码和pytorch中的区别,作为一个对比学习、也作为一个对pytorch的回顾:
- 卷积层Conv2D中,Keras中不用输入输入的通道数,
filters
就是卷积后的输出特征图的通道数;而PyTorch的卷积层是需要输入两个通道数的参数,一个是输入特征图的通道数,一个是输出特征图的通道数; keras.layers.BatchNormalization(axis=3)
是BN层,这里的axis=3说明第三个维度(从0开始计数)是通道数,是需要作为批归一化的维度(这个了解BN算法的朋友应该可以理解吧,不了解的话去重新看我之前剖析BN层算法的那个文章吧,在文章末尾有相关链接)。pytorch的图像的四个维度是:
而tensorflow是:
【样本数量,,,通道数】总之,学了pytorch之后,再看keras的话,对照的keras的API,很多东西都直接就会了,两者的API越来越相似了。
上面最后输出是(16, 56, 56, 32)
,输入的是的维度,然后经过两个最大池化层,就变成了了。
到此为止,我们现在应该是可以用keras来构建模型了。
- END - <>小白学论文 | EfficientNet强在哪里
小白学论文 | 神经网络初始化Xavier
小白学论文 | 端侧神经网络GhostNet(2019)
小白学目标检测 | RCNN, SPPNet, Fast, Faster
小白学图像 | BatchNormalization详解与比较
小白学图像 | Group Normalization详解+PyTorch代码
小白学图像 | 八篇经典CNN论文串讲
图像增强 | CLAHE 限制对比度自适应直方图均衡化
小白学卷积 | 深入浅出卷积网络的平移不变性
小白学卷积 | (反)卷积输出尺寸计算
损失函数 | 焦点损失函数 FocalLoss 与 GHM
<>
小白学ML | 随机森林 全解 (全网最全)
小白学SVM | SVM优化推导 + 拉格朗日 + hingeLoss
小白学LGB | LightGBM = GOSS + histogram + EFB
小白学LGB | LightGBM的调参与并行
小白学XGB | XGBoost推导与牛顿法
评价指标 | 详解F1-score与多分类F1
小白学ML | Adaboost及手推算法案例
小白学ML | GBDT梯度提升树
小白学优化 | 最小二乘法与岭回归&Lasso回归
小白学排序 | 十大经典排序算法(动图)
杂谈 | 正态分布为什么如此常见
Adam优化器为什么被人吐槽?
机器学习不得不知道的提升技巧:SWA与pseudo-label
<>
秋招总结 | 一个非Top学校的跨专业的算法应届研究生的几十场面试
【小白面经】快手 AI算法岗 附答案解析
【小白面经】 拼多多 AI算法岗 附带解析
【小白面经】八种应对样本不均衡的策略
【小白面经】之防止过拟合的所有方法
【小白面经】梯度消失爆炸及其解决方法
【小白面经】 判别模型&生成模型
<>
【小白健身】腹肌搓衣板化
【小白健身】8个动作练爆胸大肌
【小白健身 】背阔大作战(下)
【小白健身】背阔大作战(上)
【小白健身】徒手健身40个动作(gif)
【小白健身】弹力带轻度健身gif动图