转自:http://blog.csdn.net/philosophyatmath/article/details/52774666
python向量:
import numpy as np
a = np.array([[1,2],[3,4],[5,6]])
sum0 = np.sum(a, axis=0)
sum1 = np.sum(a, axis=1)
print sum0
print sum1
结果:
[ 9 12]
[ 3 7 11]
dropout
指在深度学习网络的训练过程中,对于神经网络单元,按照一定的概率将其暂时从网络中丢弃。
dropout是CNN中防止过拟合提高效果的一个大杀器
输出结果是10个类别,所以维度是10
model.add(Dense(500, 10, init=’glorot_uniform’))
Batch
Batch gradient descent,批梯度下降
随机梯度下降,stochastic gradient descent
mini-batch gradient decent,小批的梯度下降
batch_size
初始化方法
init是关键字,’uniform’表示用均匀分布去初始化
model.add(Dense(64, init=’uniform’))
激活函数
每个神经元都有激活函数: linear,sigmoid,tanh,softmax,LeakyReLU和PReLU
model.add(Dense(64))
model.add(Activation(‘tanh’))
或者
model.add(Dense(64, activation=’tanh’)) #此处’tanh’是一个字符串
模型相关
compile(optimizer, loss, class_model=”categorical”):
参数:
optimizer:指定模型训练的优化器;
loss:目标函数;
class_mode: ”categorical”和”binary”中的一个,只是用来计算分类的精确度或using the predict_classes method
theano_mode: Atheano.compile.mode.Mode instance controllingspecifying compilation options
fit(X, y, batch_size=128, nb_epoch=100, verbose=1, validation_split=0,validation_data=None,shuffle=True,show_accuracy=False,callbacks=[],class_weight=Noe, sample_weight=None)
用于训练一个固定迭代次数的模型
返回:记录字典,包括每一次迭代的训练误差率和验证误差率;
参数:
X:训练数据
y : 标签
batch_size : 每次训练和梯度更新块的大小。
nb_epoch: 迭代次数。
verbose : 进度表示方式。0表示不显示数据,1表示显示进度条,2表示用只显示一个数据。
callbacks : 回调函数列表。就是函数执行完后自动调用的函数列表。
validation_split : 验证数据的使用比例。
validation_data : 被用来作为验证数据的(X, y)元组。会代替validation_split所划分的验证数据。
shuffle : 类型为boolean或 str(‘batch’)。是否对每一次迭代的样本进行shuffle操作(可以参见博文Theano学习笔记01--Dimshuffle()函数)。’batch’是一个用于处理HDF5(keras用于存储权值的数据格式)数据的特殊选项。
show_accuracy:每次迭代是否显示分类准确度。
class_weigh : 分类权值键值对。原文:dictionary mapping classes to a weight value, used for scaling the lossfunction (during training only)。键为类别,值为该类别对应的权重。只在训练过程中衡量损失函数用。
sample_weight : list or numpy array with1:1 mapping to the training samples, used for scaling the loss function (duringtraining only). For time-distributed data, there is one weight per sample pertimestep, i.e. if your output data is shaped(nb_samples, timesteps, output_dim), your mask should be of shape (nb_samples, timesteps, 1). This allows you to maskout or reweight individual output timesteps, which is useful in sequence tosequence learning.
evalute(X, y, batch_size=128, show_accuracy=False,verbose=1, sample_weight=None)
展示模型在验证数据上的效果
返回:误差率或者是(误差率,准确率)元组(if show_accuracy=True)
参数:和fit函数中的参数基本一致,其中verbose取1或0,表示有进度条或没有
predict(X, batch_size=128, verbose=1)
用于对测试数据的预测
返回:对于测试数据的预测数组
参数:和fit函数中的参数一样。
predict_classes(X, batch_size=128, verbose=1)
用于对测试数据的分类预测
返回:对于测试数据的预测分类结果数组
参数:和evaluate函数中的参数一样。
train_on_batch(X, y, accuracy=False, class_weight=None, sample_weight=None)
对数据块进行计算并梯度更新
返回:数据块在现有模型中的误差率或者元组(if show_accuracy=True)
参数:和evaluate函数中的参数一样。
test_on_batch(X, y, accuracy=False, sample_weight=None)
用数据块进行性能验证
返回:数据块在现有模型中的误差率或者元组(误差率,准确率)(if show_accuracy=True)
参数:和evaluate函数中的参数一样。
save_weights (fname, overwrite=False)
将所有层的权值保存为HDF5文件
返回:如果overwrite=False并且fname已经存在,则会抛出异常。
参数:
fname: 文件名
overwrite : 如果已经存在,是否覆盖原文件。
load_weights(fname):
加载已经存在的权值数据到程序中的模型里面。文件中的模型和程序中的模型结构必须一致。在compile之前或之后都可以调用load_ weights函数。
参数: fname文件名
Sequential(线性叠加模型)举例说明
from keras.models import Sequential
from keras.layers.core import Dense, Dropout, Activation
from keras.optimizers import SGD
model = Sequential()
model.add(Dense(2, init='uniform', input_dim=64))
model.add(Activation('softmax'))
model.compile(loss='mse', optimizer='sgd')
'''''
Verbose=1或2的结果演示
'''
model.fit(X_train, y_train, nb_epoch=3, batch_size=16, verbose=1)
# 输出信息
'''''
Train on 37800 samples, validate on 4200 samples
Epoch 0
37800/37800 [==============================] - 7s - loss: 0.0385
Epoch 1
37800/37800 [==============================] - 8s - loss: 0.0140
Epoch 2
10960/37800 [=======>......................] - ETA: 4s - loss: 0.0109
'''
model.fit(X_train, y_train, nb_epoch=3, batch_size=16, verbose=2)
# 输出信息
'''''
Train on 37800 samples, validate on 4200 samples
Epoch 0
loss: 0.0190
Epoch 1
loss: 0.0146
Epoch 2
loss: 0.0049
'''
'''''
show_accuracy=True的演示,会输出误差率-正确率
'''
model.fit(X_train, y_train, nb_epoch=3, batch_size=16, verbose=2, show_accuracy=True)
# 输出信息
'''''
Train on 37800 samples, validate on 4200 samples
Epoch 0
loss: 0.0190 - acc.: 0.8750
Epoch 1
loss: 0.0146 - acc.: 0.8750
Epoch 2
loss: 0.0049 - acc.: 1.0000
'''
'''''
validation_split=0.1表示总样本的10%用来进行验证。比如下方实例,样本总数42000,则验证数据占10%,即4200,剩余的37800为训练数据。
'''
model.fit(X_train, y_train, nb_epoch=3, batch_size=16, validation_split=0.1, show_accuracy=True, verbose=1)
# outputs
'''''
Train on 37800 samples, validate on 4200 samples
Epoch 0
37800/37800 [==============================] - 7s - loss: 0.0385 - acc.:0.7258 - val. loss: 0.0160 - val. acc.: 0.9136
Epoch 1
37800/37800 [==============================] - 8s - loss: 0.0140 - acc.:0.9265 - val. loss: 0.0109 - val. acc.: 0.9383
Epoch 2
10960/37800 [=======>......................] - ETA: 4s - loss: 0.0109 -acc.: 0.9420
'''
Graph(任意连接图模型)方法及属性介绍
任意连接图可以有任意数量的输入和输出,每一个输出都由专门的代价函数进行训练。图模型的最优化取决于所有代价函数的总和。看过代码就会感觉很清晰,完全就是一张节点连接图。可以很清晰的画出该有向图。适用于部分连接的模型。
model = keras.models.Graph()
下面看一下对象model都有哪些方法。
add_input (name, input_shape, dtype=’float’)
往model里边增加一输入层
参数:
name: 输入层的唯一字符串标识
input_shape: 整数元组,表示新增层的shape。例如(10,)表示10维向量;(None, 128)表示一个可变长度的128维向量;(3, 32, 32) 表示一张3通道(RGB)的32*32的图片。
dtype:float或者int;输入数据的类型。
add_output (name, input=None, inputs=[], merge_mode=’concat’)
增加一个连接到input或inputs的输出层
参数:
name: 输出层的唯一字符串标识
input: 输出层要连接到的隐层的名字。只能是input或inputs中的一个。
inputs:新增层要连接到的多个隐层的名字列表。
merge_mode: “sum”或”concat”。在指定inputs时有效,将不同的输入合并起来。
add_node (layer, name, input=None,inputs=[], merge_mode=’concat’)
增加一个连接到input或inputs的输出层(就是除去输入输出之外的隐层)
参数:
layer: Layer实例(Layer后边会介绍到)
name:隐层的唯一字符串标识
input: 新增隐层要连接到的某隐层或输入层的名字。只能是input或inputs中的一个。
inputs:新增隐层要连接到的多个隐层的名字列表。
merge_mode: “sum”或”concat”。在指定inputs时有效,将不同的输入合并起来。
compile (optimizer, loss)
往input或inputs里边增加一输出层
参数:
optimizer: 优化器名或者优化器对象
loss: 字典键值对。键为输出层的name,值为该层对应的目标函数名或目标函数对象。
fit(data, batch_size=128, nb_epoch=100, verbose=1, validation_split=0,validation_data=None, shuffle=True, callbacks=[])
用于训练一个固定迭代次数的模型
返回:记录字典,包括每一次迭代的训练误差率和验证误差率;
参数:
data:字典。键为输入层或输出层的名,值为具体的输入数据或输出数据。可见下方的示例。
batch_size : 每次训练和梯度更新的数据块大小
nb_epoch: 迭代次数
verbose : 进度表示方式。0表示不显示数据,1表示显示进度条,2表示用只显示一个数据。
callbacks : 回调函数列表
validation_split : 验证数据的使用比例。
validation_data : 被用来作为验证数据的(X, y)元组。Will override validation_split.
shuffle : 类型为boolean或 str(‘batch’)。是否对每一次迭代的样本进行shuffle操作(可以参见博文Theano学习笔记01--Dimshuffle()函数)。’batch’是一个用于处理HDF5(keras用于存储权值的数据格式)数据的特殊选项。
evalute(data, batch_size=128, verbose=1): 展示模型在验证数据上的效果
返回:误差率
参数:和fit函数中的参数基本一致,其中verbose取1或0,表示有进度条或没有
predict(data, batch_size=128, verbose=1): 用于对测试数据的预测
返回:键值对。键为输出层名,值为对应层的预测数组
参数:和fit函数中的参数一样。输入层需要在data中声明。
train_on_batch(data): 对数据块进行计算并梯度更新
返回:数据块在现有模型中的误差率
参数:和evaluate函数中的参数一样。
test_on_batch(data): 用数据块对模型进行性能验证
返回:据块在现有模型中的误差率
参数:和evaluate函数中的参数一样。
save_weights (fname, overwrite=False): 将所有层的权值保存为HDF5文件
返回:如果overwrite=False并且fname已经存在,则会抛出异常。
参数:
fname: 文件名
overwrite : 如果已经存在,是否覆盖原文件。
load_weights (fname): 加载已经存在的权值数据到程序中的模型里面。文件中的模型和程序中的模型结构必须一致。在compile之前或之后都可以调用load_ weights函数。
Graph(任意连接图模型)举例说明
# 含一输入,两输出的graph model
graph = Graph()
graph.add_input(name='input', input_shape=(32,))
graph.add_node(Dense(16), name='dense1', input='input')
graph.add_node(Dense(4), name='dense2', input='input')
graph.add_node(Dense(4), name='dense3', input='dense1')
graph.add_output(name='output1', input='dense2')
graph.add_output(name='output2', input='dense3')
graph.compile('rmsprop', {'output1':'mse', 'output2':'mse'})
history = graph.fit({'input':X_train, 'output1':y_train, 'output2':y2_train}, nb_epoch=10)
# 含两输入,两输出的graph model
graph = Graph()
graph.add_input(name='input1', input_shape=(32,))
graph.add_input(name='input2', input_shape=(32,))
graph.add_node(Dense(16), name='dense1', input='input1')
graph.add_node(Dense(4), name='dense2', input='input2')
graph.add_node(Dense(4), name='dense3', input='dense1')
graph.add_output(name='output', inputs=['dense2', 'dense3'], merge_mode='sum')
graph.compile('rmsprop', {'output':'mse'})
history = graph.fit({'input1':X_train, 'input2':X2_train, 'output':y_train}, nb_epoch=10)
predictions = graph.predict({'input1':X_test, 'input2':X2_test}) # {'output':...}
如何使用规则化项
规则化项是一个对于权值参数的惩罚项。它包含在代价函数中。
在Keras的Dense Layer、TimeDistributedDense Layer、MaxoutDense Layer、Convolution1D Layer和Convolution2D Layer中有一个统一的API用来应用规则化项。
上面这些层有3个关键的参数:
W_regularizer:实例化于 keras.regularizers.WeightRegularizer(对权值规则化)
b_regularizer:实例化于keras.regularizers.WeightRegularizer (对偏置规则化)
activity_regularizer:实例化于keras.regularizers.ActivityRegularizer (对激活值规则化,也就是权值与矩阵点乘以后的输出规则化)
这里对W和b的规则化用的同一个类,因为他们的实现方式基本差不多。然而日常使用的时候,很少对b进行规则化。即使对b规则化了,结果只有一点点的改善。因此经常使用的是对W的规则化。
使用示例代码如下:
from keras.regularizers import l2, activity_l2
model.add(Dense(64, input_dim=64, W_regularizer=l2(0.01), activity_regularizer=activity_l2(0.01)))
约束限制
在Keras的Dense Layer、TimeDistributedDense Layer、MaxoutDense Layer、Convolution1D Layer和Convolution2D Layer中有一个统一的API用来使用约束。
2个关键的参数:
W_constraint:约束主要的权值矩阵
b_constraint:约束偏置值
from keras.constraintsimport maxnorm
model.add(Dense(64, W_constraint =maxnorm(2))) #限制权值的各个参数不能大于2
maxnorm(m=2): 最大值约束
nonneg(): 不允许负值
unitnorm(): 归一化
http://keras-cn.readthedocs.io/en/latest/getting_started/sequential_model/
http://keras-cn.readthedocs.io/en/latest/getting_started/concepts/
http://blog.csdn.net/niuwei22007/article/details/49375195