1. 验证码识别的方法
比如有一个验证码标签为 0782,可以拆成4个Label。
Label0:1000000000, Label1:0000000100, Label2:1000000010, Label3:0010000000,采用多任务进行学习
2. 交替训练
此方法应用在不同数据,不同任务情形下
例如,任务一将英语转化为法语,任务二将英语转化为德语。他们可以共享前面的网络结构,只在做后输出层修改自己的参数,每个任务有其各自对应的loss值和优化函数。
3. 联合训练
此方式使用于相同数据,不同任务的情景
由图也可以看出,此网络结构与交替训练类似,只不过将每个任务的loss值相加起来,用一个优化器进行训练,降低总的loss值即降低各自的loss值。
4. 多任务训练程序
此程序在 alexnet_v2 网络下实现,需要先下载TensorFlow源码,将nets文件夹拷到对于目录,并将alexnet.py后半段代码进行修改使其输出4个标签数据。
# Use conv2d instead of fully_connected layers.
with slim.arg_scope([slim.conv2d],
weights_initializer=trunc_normal(0.005),
biases_initializer=tf.constant_initializer(0.1)):
net = slim.conv2d(net, 4096, [5, 5], padding='VALID',
scope='fc6')
net = slim.dropout(net, dropout_keep_prob, is_training=is_training,
scope='dropout6')
net = slim.conv2d(net, 4096, [1, 1], scope='fc7')
net = slim.dropout(net, dropout_keep_prob, is_training=is_training,
scope='dropout7')
net0 = slim.conv2d(net, num_classes, [1, 1],
activation_fn=None,
normalizer_fn=None,
biases_initializer=t