keras 实现dense prediction 逐像素标注 语义分割 像素级语义标注 pixelwise segmention labeling classification 3D数据

主要是keras的示例都是图片分类。而真正的论文代码，又太大了，不适合初学者（比如我）来学习。

所以我查找了一些资料。我在google 上捞的。

其中有个教程让人感觉很好.更完整的教程。另一个教程。

大概就是说，你的输入ground truth label需要是(width*height,class number),然后网络最后需要加个sigmoid，后面用binary_crossentrophy 损失函数。

在说白点就是图片原始标签可能是640,480,1.这样的，你先转成onehot 640,480,13（比如我有13类，一张图片有了一个三维的标注，真是fancy），然后再转成640*480,13这个二维的标注，就是保持深度，图片拉成向量。

然后最后的网络，最后一层的激活函数，要用sigmoid配binary_crossentrophy

或者是softmax 配catahorical_crossentrophy

官网说catagotical_cross rntrophy:

注意: 当使用 categorical_crossentropy 损失时，你的目标值应该是分类格式 (即，如果你有 10 个类，每个样本的目标值应该是一个 10 维的向量，这个向量除了表示类别的那个索引为 1，其他均为 0)。 为了将 整数目标值 转换为 分类目标值，你可以使用 Keras 实用函数 to_categorical：
 

from keras.utils.np_utils import to_categorical 

categorical_labels = to_categorical(int_labels, num_classes=None)

所以，我贴一下我的代码。这个代码最终的输出是原图的1/16大小，毕竟我们只是为了说明代码，而不是真的去发paper，越简单越好。

from __future__ import print_function
import numpy as np
import tensorflow as tf
import matplotlib.pyplot as plt
import os
import keras
import PIL
from PIL import Image
from keras import Model, Input, optimizers
from keras.applications import vgg16, inception_v3, resnet50, mobilenet
from keras.layers import Conv2D,Lambda,Reshape
from keras.preprocessing.image import ImageDataGenerator, load_img

#数据预处理
#下面将我的label从2284*30*40*1 转成2284*1200*14的onehot编码
#2284是图片数量
#14是类别数量
#img和lab是你的图片和标注图片。
#img大小是2284*480*640*3
#lab是2284*480*640
#trainval_list是你的训练和validation数据序号列表，因为2284张图片包含了900多张测试图片，我需要筛一下
img = img./255
img_trainval = img[trainval_list, :, :, :]
mini_lab = lab[:,::16,::16]

sum = np.zeros(shape=(2284, 1200, 14))
for i in range(2284):
    pic_lab = mini_lab[i, :, :]
    pic_flatten = np.reshape(pic_lab, (1, 1200))
    pic_onehot = keras.utils.to_categorical(pic_flatten, 14)
    sum[i] = pic_onehot
lab_trainval = sum[trainval_list, :, :]


#网络结构是非常简单的
os.environ['CUDA_VISIBLE_DEVICES']='0'
resnet_model = resnet50.ResNet50(weights = 'imagenet', include_top=False,input_shape = (480,640,3))
layer_name = 'activation_40'
res16 = Model(inputs=resnet_model.input, outputs=resnet_model.get_layer(layer_name).output)
input_real = Input(shape=(480,640,3))
sgd = optimizers.SGD(lr=0.001, decay=1e-6, momentum=0.9, nesterov=True)
x = res16(input_real)
x = Conv2D(14, (1, 1), activation='relu')(x)
sig_out = Conv2D(14,(1,1),activation = 'sigmoid')(x)
out_reshape = Reshape((1200,14))(sig_out)


#配置训练参数
model_simple1 = Model(inputs=input_real, outputs=out_reshape)
model_simple1.summary()
model_simple1.compile(loss="binary_crossentropy", optimizer=sgd, metrics=['accuracy','categorical_accuracy'])
model_simple1.fit(x=img_trainval, y=lab_trainval, epochs=200, shuffle=True, batch_size=2)

训练过程：这里必须说明的是，我把未标注类也加入训练了，所以其实这个代码对于我的数据库还是需要修改的。慢慢来。先解决3D数据的问题好吧。

 

网络结构忘给了：

 warnings.warn('The output shape of `ResNet50(include_top=False)` '
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
input_2 (InputLayer)         (None, 480, 640, 3)       0         
_________________________________________________________________
model_1 (Model)              (None, 30, 40, 1024)      8589184   
_________________________________________________________________
conv2d_1 (Conv2D)            (None, 30, 40, 14)        14350     
_________________________________________________________________
conv2d_2 (Conv2D)            (None, 30, 40, 14)        210       
_________________________________________________________________
reshape_1 (Reshape)          (None, 1200, 14)          0         
=================================================================
Total params: 8,603,744
Trainable params: 8,573,152
Non-trainable params: 30,592
_________________________________________________________________