Keras文档系列
Keras笔记(三)：目标函数objectives /loss
目录
3. utils.to_categorical() ：将多个类别标签转化为one-hot向量
5.1. merge层：将多个Sequential合并到一个输出
8. evaluate ：Score trained model.
12.test_on_batch ：在一个batch上评估模型
13.predict_on_batch；在一个batch上测试模型
导入模块
import keras
from keras.datasets import cifar10
from keras.preprocessing.image import ImageDataGenerator
from keras.models import Sequential
from keras.utils.np_utils import to_categorical
from keras.layers import Dense, Dropout, Activation, Flatten
from keras.layers import Conv2D, MaxPooling2D
from keras.callbacks import ModelCheckpoint
import os1. ModelCheckpoint ：模型保存
语法：
keras.callbacks.ModelCheckpoint(filepath,monitor='val_loss',verbose=0,save_best_only=False, save_weights_only=False, mode='auto', period=1)
参数说明：
filepath：字符串，保存模型的路径
monitor：需要监视的值
verbose：信息展示模式，0或1 (checkpoint的保存信息，类似Epoch 00001: saving model to ...)
save_best_only：当设置为True时，监测值有改进时才会保存当前的模型（ 根据monitor值的量，最近的最佳模型不会被覆盖）
save_weights_only：若设置为True，则只保存模型权重，否则将保存整个模型（包括模型结构，配置信息等）
mode：‘auto’，‘min’，‘max’之一，在save_best_only=True时决定性能最佳模型的评判准则，例如，当监测值为val_acc时，模式应为max，当监测值为val_loss时，模式应为min。在auto模式下，评价准则由被监测值的名字自动推断。
period：CheckPoint之间的间隔的epoch数。
2. os.path.join() ：合并目录
语法： os.path.join(path1[,path2[,......]])
返回值：将多个路径组合连接后返回
（注：第一个绝对路径之前的参数将被忽略）
os.path.join(save_dir, filepath) #返回文件的保存路径，但不能生成连接后路径下的文件
# Save model and weights
if not os.path.isdir(save_dir):
os.makedirs(save_dir)
model_path = os.path.join(save_dir, model_name)
model.save(model_path)
print('Saved trained model at %s ' % model_path)
2.1. join()：连接字符串数组
将字符串、元组、列表中的元素以指定的字符(分隔符)连接生成一个新的字符串
语法：‘sep’.join（seq）
#以sep作为分隔符，将seq所有的元素合并成一个新的字符串
参数说明：
sep：分隔符;可以为空
seq：要连接的元素序列、字符串、元组、字典等
主要知识点： 列表解析知识(以及元组知识) ; range,xrange,join函数的使用; 字符串格式化输出
#method1
print '\n'.join([' '.join(['%s*%s=%-2s' % (y,x,x*y) for y in range(1,x+1)]) for x in range(1,10)])
#method2
#xrange是python2中的函数，相当于python3的range
#coding:utf-8
print('\n'.join([' '.join('%sx%s=%-2s'%(x,y,x*y) for x in xrange(1,y+1)) for y in xrange(1,10)]))3. utils.to_categorical() ：将多个类别标签转化为one-hot向量
#将多分类问题标签将整数转化为二值数（one-hot向量），比如10分类问题标签2转化为0010000000
labels = np.random.randint(10, size=(1000, 1))
labels = to_categorical(labels, 10)4. model.add()：建立模型
建立模型有两种方式：
（1）向layer添加list的方式，
(2)通过.add()方式一层层地添加（一个add为一层）
#向layer添加list方式
model = Sequential([Dense(32,input_dim=784),Activation('relu'),Dense(10),Activation('softmax'),])
#通过.add()方式
model = Sequential() model.add(Dense(32, input_dim=784)) model.add(Activation('relu'))5.Sequential()： 多个网络层的线性堆叠
#以下三种输入是等价的
model = Sequential()
model.add(Dense(32, input_shape=(784,)))
model = Sequential()
model.add(Dense(32, batch_input_shape=(None, 784)))
model = Sequential()
model.add(Dense(32, input_dim=784)) Sequential只需在第一层需接受一个关于输入数据shape的参数，后面的各个层则可自动推导出中间数据的shape。 参数说明：
#input_shape: 为tuple类型或None，如果填入None则表示此位置可能是任何正整数，数据的batch大小不应包含在其中。
#batch_input_shape: 包含数据的batch大小，可用于固定batch的大小。
5.1. merge层：将多个Sequential合并到一个输出
Merge层支持的的合并模式包括：
sum(defualt):逐元素相加
concat:张量串联，可以通过提供concat_axis的关键字参数指定按照哪个轴进行串联
mul：逐元素相乘
ave：张量平均
dot：张量相乘，可以通过dot_axis关键字参数来指定要消去的轴
cos：计算2D张量（即矩阵）中各个向量的余弦距离
from keras.layers import Merge
merged = Merge([left_branch, right_branch], mode='concat')
#也可以为Merge层提供关键字参数mode，以实现任意的变换
merged = Merge([left_branch, right_branch], mode=lambda x: x[0] - x[1])6.compile()编译：配置学习过程
在训练模型之前，需要通过compile来对学习过程进行配置。
语法：compile(self, optimizer, loss, metrics=[ ], sample_weight_mode=None)
compile的三个参数：
#optimizer优化器：已预定义的优化器名（字符串），如rmsprop、adagrad或一个Optimizer类的对象
#loss损失函数：最小化的目标函数，为categorical_crossentropy、mse等损失函数，或者是字符串（预定义损失函数名）。
#metrics指标列表：包含评估模型在训练和测试时的网络性能的指标，返回单个张量，或一个完成metric_name - > metric_value映射的字典。分类问题为metrics=['accuracy']；指标可以是一个预定义指标或用户定制的函数。
#sample_weight_mode：如果你需要按时间步为样本赋权（2D权矩阵），将该值设为“temporal”。默认为“None”，代表按样本赋权（1D权）。
#kwargs：使用TensorFlow作为后端请忽略该参数，若使用Theano作为后端，kwargs的值将会传递给 K.function
# 多分类问题
model.compile(optimizer='rmsprop', loss='categorical_crossentropy', metrics=['accuracy'])
# 二分类问题
model.compile(optimizer='rmsprop', loss='binary_crossentropy', metrics=['accuracy'])
#均方误差回归问题
model.compile(optimizer='rmsprop', loss='mse')
#初始化优化器参数
opt = keras.optimizers.rmsprop(lr=0.0001, decay=1e-6)7. fit()训练模型
编译完后要训练模型，
语法:
fit(self, x, y, batch_size=32, nb_epoch=10, verbose=1, callbacks=[], validation_split=0.0,
validation_data=None, shuffle=True, class_weight=None, sample_weight=None)
model.fit(x_train, y_train, batch_size=batch_size, epochs=epochs, validation_data=(x_test, y_test),
shuffle=True, callbacks=[checkpoint]))参数说明：
#x：输入数据；模型只有一个输入时x的类型是numpy array，模型多个输入时x的类型应当为list，list的元素是对应于各个输入的numpy array
#y：标签，numpy array
#batch_size：指定进行梯度下降时每个batch包含的样本数。
#nb_epoch：训练的轮数。
#verbose：日志显示，0为不在标准输出流输出日志信息，1为输出进度条记录，2为每个epoch输出一行记录
#callbacks：list，其中的元素是keras.callbacks.Callback的对象。这个list中的回调函数将会在训练过程中的适当时机被调用。 #validation_split：0~1的浮点数，将训练集的一定比例数据作为验证集。验证集将不参与训练，并在每个epoch结束后测试的模型的指标，如损失函数、精确度等。
#validation_data：形如（X，y）的tuple，是指定的验证集。此参数将覆盖validation_spilt。
#shuffle：布尔值或字符串，一般为布尔值，表示是否在训练过程中随机打乱输入样本的顺序。若为字符串“batch”，则是用来处理HDF5数据的特殊情况，它将在batch内部将数据打乱。
#class_weight：字典，将不同的类别映射为不同的权值，该参数用来在训练过程中调整损失函数（只能用于训练）。
#sample_weight：权值的numpy array，用于在训练时调整损失函数（仅用于训练）。可以传递一个1D的与样本等长的向量用于对样本进行1对1的加权，或者在面对时序数据时，传递一个的形式为（samples，sequence_length）的矩阵来为每个时间步上的样本赋不同的权。这种情况下请确定在编译模型时添加了sample_weight_mode='temporal'。 fit函数返回一个History的对象，其History.history属性记录了损失函数和其他指标的数值随epoch变化的情况，如果有验证集的话，也包含了验证集的这些指标变化情况
8. evaluate ：Score trained model.
语法： evaluate(self, x, y, batch_size=32, verbose=1, sample_weight=None)
evaluate函数按batch计算在某些输入数据上模型的误差，返回一个测试误差的标量值（如果模型没有其他评价指标），或一个标量的list（如果模型还有其他的评价指标）其参数有：
#x：输入数据，是numpy array或numpy array的list
#y：标签，numpy array
#batch_size：整数，含义同fit的同名参数
#verbose：含义同fit的同名参数，但只能取0或1
#sample_weight：numpy array，含义同fit的同名参数
model.metrics_names将给出list中各个值的含义
9.predict_classes :类别预测结果
语法：predict_classes(self, x, batch_size=32, verbose=1)
按batch产生输入数据的类别预测结果，函数的返回值是类别预测结果的numpy array或numpy
10. predict_proba:样本属于各个类别的概率
语法：predict_proba(self, x, batch_size=32, verbose=1)
按batch产生输入数据属于各个类别的概率，函数的返回值是类别概率的numpy array
11. train_on_batch ：参数更新
语法：train_on_batch(self, x, y, class_weight=None, sample_weight=None)
在一个batch的数据上进行一次参数更新，函数返回训练误差的标量值或标量值的list，与evaluate的情形相同。
12.test_on_batch ：在一个batch上评估模型
语法：test_on_batch(self, x, y, sample_weight=None)
在一个batch的样本上对模型进行评估，函数的返回与evaluate的情形相同
13.predict_on_batch；在一个batch上测试模型
语法：predict_on_batch(self, x)
在一个batch的样本上对模型进行测试，函数返回模型在一个batch上的预测结果
14. fit_generator
语法：fit_generator(self, generator, samples_per_epoch, nb_epoch, verbose=1, callbacks=[], validation_data=None, nb_val_samples=None, class_weight=None, max_q_size=10)
参数说明：
#generator：生成器函数，生成器的输出应该为：一个形如（inputs，targets）或（inputs, targets,sample_weight）的tuple。所有的返回值都应该包含相同数目的样本。生成器将无限在数据集上循环。每个epoch以经过模型的样本数达到samples_per_epoch时，记一个epoch结束
#samples_per_epoch：整数，当模型处理的样本达到此数目时计一个epoch结束，执行下一个epoch
#verbose：日志显示，0为不在标准输出流输出日志信息，1为输出进度条记录，2为每个epoch输出一行记录
#validation_data具有三种形式：（1）生成验证集的生成器 2）一个形如（inputs,targets）的tuple 3） 一个形如（inputs,targets，sample_weights）的tuple
#nb_val_samples：仅当validation_data是生成器时使用，用以限制在每个epoch结束时用来验证模型的验证集样本数，功能类似于samples_per_epoch
#max_q_size：生成器队列的最大容量 函数返回一个History对象 。
15.evaluate_generator
语法：evaluate_generator(self, generator, val_samples, max_q_size=10)
使用一个生成器作为数据源评估模型，生成器应返回与test_on_batch的输入数据相同类型的数据。该函数的参数与fit_generator同名参数含义相同。
Keras文档系列
Keras笔记(三)：目标函数objectives /loss
参考
【1】keras中文文档
1001
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
