2、slim.nets.resnet_utils.conv2d_same()：使用“SAME”填充的二维卷积
3、 tf.variable_scope()的original_name_scope 和 name的区别：
5、slim.separable_conv2d()：实现深度可分离卷积
7、slim.evaluation.evaluation_loop():对模型的预测结果进行评估
8、slim.get_variables_to_restore(include=None, exclude=None)：
9、slim.assign_from_checkpoint_fn()：
10、tf.contrib.metrics.aggregate_metric_map():
11、Slim.conv2d_transpose（）：实现反卷积
13、slim.max_pool2d()、slim.avg_pool2d()：实现最大或者均值池化：
1、slim.conv2d:二维卷积
函数原型：
-
convolution(inputs,
-
num_outputs,
-
kernel_size,
-
stride=
1,
-
padding=
'SAME',
-
data_format=
None,
-
rate=
1,
-
activation_fn=nn.relu,
-
normalizer_fn=
None,
-
normalizer_params=
None,
-
weights_initializer=initializers.xavier_initializer(),
-
weights_regularizer=
None,
-
biases_initializer=init_ops.zeros_initializer(),
-
biases_regularizer=
None,
-
reuse=
None,
-
variables_collections=
None,
-
outputs_collections=
None,
-
trainable=
True,
-
scope=
None):
参数介绍：
inputs：指需要做卷积的输入图像
num_outputs：指定卷积核的个数（就是filter的个数）
kernel_size：N个正整数的序列，指定卷积核的空间维度。 可以是单个整数，则所有空间维度具有相同值。
stride：一组N个正整数，指定计算输出的stride。 可以是一个整数，则所有空间维具有相同的值。指定任何stride！= 1与指定任何rate！= 1不相容。
padding：为padding的方式选择，VALID或者SAME
data_format：是用于指定输入的input的格式
rate：N个正整数的序列，指定用于萎缩卷积的扩张率。 可以是单个整数，以指定所有空间维度的相同值。 指定任何rate！= 1与指定任何stride！= 1不兼容。
activation_fn：用于激活函数的指定，默认的为ReLU函数
normalizer_fn：用于指定正则化函数
normalizer_params：用于指定正则化函数的参数
weights_initializer：用于指定权重的初始化程序
weights_regularizer：为权重可选的正则化程序
biases_initializer：用于指定biase的初始化程序
biases_regularizer: biases可选的正则化程序
reuse：指定是否共享层或者和变量
variable_collections：指定变量的集合列表或者字典名，变量（weight、biase）会被添加到这个集合中。
outputs_collections：指定一个列表名，输出（output）会被添加到这个列表。这个(列表名，[output])的键值对位于Graph类的self._collection字典中，如果该字典中没有列表名的关键字，则（列表名，[output]）会被创建。
trainable:：卷积层的参数是否可被训练，如果为True，则同样会将变量添加到计算图集合GraphKeys.TRAINABLE_VARIABLES中
scope:共享变量所指的variable_scope
2、slim.nets.resnet_utils.conv2d_same()：使用“SAME”填充的二维卷积
函数原型：conv2d_same(inputs, num_outputs, kernel_size, stride, rate=1, scope=None)
inputs: 一个4维tensor：[batch, height_in, width_in, channels].
num_outputs:卷积核的个数
kernel_size: 卷积核的尺寸
stride: 输出的stride
rate: 空洞卷积膨胀率
scope: Scope.
-
net = conv2d_same(inputs, num_outputs,
3, stride=stride)
-
# 等价于
-
net = slim.conv2d(inputs, num_outputs,
3, stride=
1, padding=
'SAME')
-
net = subsample(net, factor=stride)
-
# 但是和net = slim.conv2d(inputs, num_outputs, 3, stride=stride, padding='SAME')不等价，因为当输入的高度
-
或宽度是偶数时，它是不同的，这就是我们添加当前函数的原因。
-
-
# subsample的源码为：
-
def subsample(inputs, factor, scope=None):
-
"""Subsamples the input along the spatial dimensions.
-
Args:
-
inputs: A `Tensor` of size [batch, height_in, width_in, channels].
-
factor: The subsampling factor.
-
scope: Optional variable_scope.
-
Returns:
-
output: A `Tensor` of size [batch, height_out, width_out, channels] with the
-
input, either intact (if factor == 1) or subsampled (if factor > 1).
-
"""
-
if factor ==
1:
-
return inputs
-
else:
-
return slim.max_pool2d(inputs, [
1,
1], stride=factor, scope=scope)
-
3、 tf.variable_scope()的original_name_scope 和 name的区别：
-
with tf.variable_scope(
'a')
as a:
-
print(a.name)
-
print(a.original_name_scope)
-
print(a.original_name_scope)
-
-
with tf.variable_scope(
'a')
as b:
-
print(b.name)
-
print(b.original_name_scope)
-
-
输出：
-
a
-
a/
-
a/
-
a
-
a_1/
foo.name返回scope的名称（String）。 另一方面，foo.original_name_scope返回与foo.name相同的字符串，除非相同的scope被重新创建。 在这种情况下，所有子范围都会根据需要附加一个_＃，以便对foo.original_name_scope进行所有调用，为范围的每个实例返回唯一的内容。
4、slim.utils.collect_named_outputs（collections, alias, outputs）：为output的tensor添加别名，并将tensor添加到collections的列表中
如果这个(列表名，列表)键值对存在于Graph的self._collection字典中，则只是在列表上添加，否则会在字典中创建键值对。源码如下：
-
def collect_named_outputs(collections, alias, outputs):
-
if collections:
-
append_tensor_alias(outputs, alias)
-
# 将outputs添加到collections的列表中，这个(collections,[outputs])位于Graph的self._collection中
-
ops.add_to_collections(collections, outputs)
-
return outputs
-
-
def append_tensor_alias(tensor, alias):
-
if alias[
-1] ==
'/':
-
alias = alias[:
-1]
-
if hasattr(tensor,
'aliases'):
-
tensor.aliases.append(alias)
-
else:
-
tensor.aliases = [alias]
-
return tensor
5、slim.separable_conv2d()：实现深度可分离卷积
-
def separable_convolution2d(
-
inputs,
-
num_outputs,
-
kernel_size,
-
depth_multiplier=1,
-
stride=1,
-
padding='SAME',
-
data_format=DATA_FORMAT_NHWC,
-
rate=1,
-
activation_fn=nn.relu,
-
normalizer_fn=None,
-
normalizer_params=None,
-
weights_initializer=initializers.xavier_initializer(),
-
pointwise_initializer=None,
-
weights_regularizer=None,
-
biases_initializer=init_ops.zeros_initializer(),
-
biases_regularizer=None,
-
reuse=None,
-
variables_collections=None,
-
outputs_collections=None,
-
trainable=True,
-
scope=None):
-
"""一个2维的可分离卷积，可以选择是否增加BN层。
-
这个操作首先执行逐通道的卷积（每个通道分别执行卷积），创建一个称为depthwise_weights的变量。如果num_outputs
-
不为空，它将增加一个pointwise的卷积（混合通道间的信息），创建一个称为pointwise_weights的变量。如果
-
normalizer_fn为空，它将给结果加上一个偏置，并且创建一个为biases的变量，如果不为空，那么归一化函数将被调用。
-
最后再调用一个激活函数然后得到最终的结果。
-
Args:
-
inputs: 一个形状为[batch_size, height, width, channels]的tensor
-
num_outputs: pointwise 卷积的卷积核个数，如果为空，将跳过pointwise卷积的步骤.
-
kernel_size: 卷积核的尺寸：[kernel_height, kernel_width]，如果两个的值相同，则可以为一个整数。
-
depth_multiplier: 卷积乘子，即每个输入通道经过卷积后的输出通道数。总共的输出通道数将为：
-
num_filters_in * depth_multiplier。
-
stride:卷积步长，[stride_height, stride_width],如果两个值相同的话，为一个整数值。
-
padding: 填充方式，'VALID' 或者 'SAME'.
-
data_format:数据格式， `NHWC` (默认) 和 `NCHW`
-
rate: 空洞卷积的膨胀率：[rate_height, rate_width],如果两个值相同的话，可以为整数值。如果这两个值
-
任意一个大于1，那么stride的值必须为1.
-
activation_fn: 激活函数，默认为ReLU。如果设置为None，将跳过。
-
normalizer_fn: 归一化函数，用来替代biase。如果归一化函数不为空，那么biases_initializer
-
和biases_regularizer将被忽略。 biases将不会被创建。如果设为None，将不会有归一化。
-
normalizer_params: 归一化函数的参数。
-
weights_initializer: depthwise卷积的权重初始化器
-
pointwise_initializer: pointwise卷积的权重初始化器。如果设为None，将使用weights_initializer。
-
weights_regularizer: (可选)权重正则化器。
-
biases_initializer: 偏置初始化器，如果为None，将跳过偏置。
-
biases_regularizer: (可选)偏置正则化器。
-
reuse: 网络层和它的变量是否可以被重用，为了重用，网络层的scope必须被提供。
-
variables_collections: (可选)所有变量的collection列表，或者是一个关键字为变量值为collection的字典。
-
outputs_collections: 输出被添加的collection.
-
trainable: 变量是否可以被训练
-
scope: (可选)变量的命名空间。
-
Returns:
-
代表这个操作的输出的一个tensor
6、slim.learning.train():开始训练
slim.learning.train()的源码如下：
-
_USE_DEFAULT=
0
-
def train(train_op,
-
logdir,
-
train_step_fn=train_step,
-
train_step_kwargs=_USE_DEFAULT,
-
log_every_n_steps=1,
-
graph=None,
-
master='',
-
is_chief=True,
-
global_step=None,
-
number_of_steps=None,
-
init_op=_USE_DEFAULT,
-
init_feed_dict=None,
-
local_init_op=_USE_DEFAULT,
-
init_fn=None,
-
ready_op=_USE_DEFAULT,
-
summary_op=_USE_DEFAULT,
-
save_summaries_secs=600,
-
summary_writer=_USE_DEFAULT,
-
startup_delay_steps=0,
-
saver=None,
-
save_interval_secs=600,
-
sync_optimizer=None,
-
session_config=None,
-
session_wrapper=None,
-
trace_every_n_steps=None,
-
ignore_live_threads=False):
-
"""
-
使用TensorFlow 的监督器(supervisor)来运行训练循环。 提供sync_optimizer时，讲同步进行梯度更新，否则将异步进行梯度更新。
-
args:
-
train_op: 这是一个`Tensor`,当被执行的时候，将进行梯度更新并返回损失值。,
-
logdir: 训练损失(trian loss)写入的目录。
-
train_step_fn: 为了执行单次梯度跟新操作，这个函数将会被调用。这个函数必须有四个参数：session、train_op、 global step、dictionary.
-
train_step_kwargs: 传给train_step_fn的一个dictionary，默认情况下，两个叫做"should_stop" 和"should_log"的布尔值需要提供。
-
log_every_n_steps: 多少次迭代保存一次训练损失。
-
graph: 传递给监督其supervisor的图，如果为空，则使用默认的graph。
-
master: tensorflow master的地址
-
is_chief: 指定是否在主要副本上运行training。
-
global_step: 代表全局step的tensor，如果为空，那么将会调用training_util.get_or_create_global_step(),
-
number_of_steps: 训练时最大的梯度更新次数，当global step大于这个值时，停止训练。如果这个值为空，则训练不会停止下来。
-
init_op: 初始化操作，如果为空，则调用tf.global_variables_initializer()初始化
-
init_feed_dict: 当执行初始化操作时的需要feed进去的一个字典
-
local_init_op: 局部初始化操作，如果为空，则调用tf.local_variables_initializer()和 tf.tables_initializer()来初始化
-
init_fn: 在Init_op被执行后，一个可选的调用函数。这个函数需要接受一个参数，即被初始化的session。
-
ready_op: 检查模型是否准备好了的操作，如果为空，将会调用tf.report_uninitialized_variables()。
-
summary_op: summary操作。
-
save_summaries_secs: 多少秒保存一次summaries。
-
summary_writer: 一个SummaryWriter，如果为None，则不会又summary会被写入。如果没有设置该值，将会自动创建一个SummaryWriter。
-
startup_delay_steps: 在梯度更新之前需要等待的step数。如果sync_optimizer被提供，则这个值必须为0.
-
saver: 保存checkpoint文件的saver，如果为None，一个默认的saver将会被创建。
-
save_interval_secs: 多少秒保存一次模型的checkpoint文件到logdir。
-
sync_optimizer: tf.train.SyncReplicasOptimizer的一个实例，或者这个实例的一个列表。如果这个参数被更新，则梯度更新操作将同步进行。如果为None，则梯度更新操作将异步进行。
-
session_config: tf.ConfigProto的一个实例，用于配置Session，如果为None，则将会创建一个默认值。
-
session_wrapper: 会话包装器，它把tf.Session作为唯一的参数传入，返回一个和tf.Session具有相同方法的包装后的session。如果不为None，则包装后的对象将会在训练中使用。
-
trace_every_n_steps: 以一种Chrome trace format生成并保存Timeline 保存的频率为trace_every_n_steps，如果为None， 没有任何trace信息将会别保存。
-
ignore_live_threads: 如果为True，则忽略那些在停止supervisor之后仍然在运行的线程，而不是引发RuntimeError。
-
Returns:
-
训练后的损失函数的值
-
'''
7、slim.evaluation.evaluation_loop():对模型的预测结果进行评估
slim.evaluation.evalutation_loop()的源码如下：
-
通常，如果我们想要评估一个保存在磁盘上的模型的checkpoint文件时，可以在一个机制集合上进行单次或者多次评估。为了评估一个特定的模型，我们需要定义
0或者更多metric和
0或者更多summary，然后调用evaluation_loop。
-
# 创建模型并获取预测值:
-
images, labels = LoadData(...)
-
predictions = MyModel(images)
-
# 选择需要计算的评估指标
-
names_to_values, names_to_updates = slim.metrics.aggregate_metric_map({
-
"accuracy": slim.metrics.accuracy(predictions, labels),
-
"mse": slim.metrics.mean_squared_error(predictions, labels),
-
})
-
# 定义需要写入的summary
-
for metric_name, metric_value
in metrics_to_values.iteritems():
-
tf.summary.scalar(metric_name, metric_value)
-
checkpoint_dir =
'/tmp/my_model_dir/'
-
log_dir =
'/tmp/my_model_eval/'
-
# 评估1000个batch
-
num_evals =
1000
-
# 每10分钟评估一次
-
slim.evaluation_loop(
-
'',
-
checkpoint_dir,
-
logdir,
-
num_evals=num_evals,
-
eval_op=names_to_updates.values(),
-
summary_op=tf.contrib.deprecated.merge_summary(summary_ops),
-
eval_interval_secs=
600)
-
-
def evaluation_loop(master,
-
checkpoint_dir,
-
logdir,
-
num_evals=1,
-
initial_op=None,
-
initial_op_feed_dict=None,
-
init_fn=None,
-
eval_op=None,
-
eval_op_feed_dict=None,
-
final_op=None,
-
final_op_feed_dict=None,
-
summary_op=_USE_DEFAULT,
-
summary_op_feed_dict=None,
-
variables_to_restore=None,
-
eval_interval_secs=60,
-
max_number_of_evaluations=None,
-
session_config=None,
-
timeout=None,
-
timeout_fn=None,
-
hooks=None):
-
"""返回Slim的评估循环
-
Args:
-
master:TensorFlow master的BNS地址
-
checkpoint_dir: checkpoint文件所在的目录
-
logdir: summaries被写入的目录。
-
num_evals: 运行eval_op的次数，通常num_eval=num_batch
-
initial_op: 初始化操作，在evaluation之前运行
-
initial_op_feed_dict: 当执行初始化操作时的feed dictionary
-
init_fn: (可选)一个回调函数，在初始化被调用之后执行。这个回调函数必须接受一个参数，即初始化的session。
-
eval_op: 一个评估操作，总共需要运行num_evals次，即每个batch运行一次
-
eval_op_feed_dict: 当执行eval_op时所要用的feed dictionary
-
final_op: 一个最终操作，在所有的eval_op被执行完以后执行，final_op的值被返回
-
final_op_feed_dict: 当执行final_op时的一个feed dictionary
-
summary_op: 在运行slim的metric操作后的评估的summary_op，默认情况下，summary_op被设置为tf.summary.merge_all().
-
summary_op_feed_dict: (可选)当运行summary_op时的一个feed dictionary
-
variables_to_restore: 在评估期间需要恢复的变量列表，如果为None，那么默认为slim.variables.GetVariablesToRestore()
-
eval_interval_secs: 两次评估之间的间隔(单位/秒)，即多久evaluation一次
-
max_number_of_evaluations: 评估迭代的最大次数，如果这个值设置为None，那么评估将无限进行。
-
session_config: 一个tf.ConfigProto的实例，如果为None，则默认的将会别使用。
-
timeout: 超时时间， The maximum amount of time to wait between checkpoints.如果为None，那么程序将一直等待。
-
timeout_fn: (可选)在超时之后被调用的函数。如果这个函数返回True，那么意味着没有新的checkpoint文件会被创建，迭代将会被终止，这个函数被调用时没有任何参数。
-
hooks: 一个额外的SessionRunHook对象的列表，在重复的评估时被传入
-
Returns:
-
如果final_op不为空的话返回final_op执行后的值，如果final_op为空的话，则返回None。
-
"""
-
if summary_op == _USE_DEFAULT:
-
summary_op = summary.merge_all()
-
all_hooks = [evaluation.StopAfterNEvalsHook(num_evals),]
-
if summary_op
is
not
None:
-
all_hooks.append(evaluation.SummaryAtEndHook(
-
log_dir=logdir, summary_op=summary_op, feed_dict=summary_op_feed_dict))
-
if hooks
is
not
None:
-
# Add custom hooks if provided.
-
all_hooks.extend(hooks)
-
saver =
None
-
if variables_to_restore
is
not
None:
-
saver = tf_saver.Saver(variables_to_restore)
-
-
return evaluation.evaluate_repeatedly(
-
checkpoint_dir,
-
master=master,
-
scaffold=monitored_session.Scaffold(
-
init_op=initial_op, init_feed_dict=initial_op_feed_dict,
-
init_fn=init_fn, saver=saver),
-
eval_ops=eval_op,
-
feed_dict=eval_op_feed_dict,
-
final_ops=final_op,
-
final_ops_feed_dict=final_op_feed_dict,
-
eval_interval_secs=eval_interval_secs,
-
hooks=all_hooks,
-
config=session_config,
-
max_number_of_evaluations=max_number_of_evaluations,
-
timeout=timeout,
-
timeout_fn=timeout_fn)
8、slim.get_variables_to_restore(include=None, exclude=None)：
获取所有变量，包括模型变量（如权重和参数）和常规变量(如global step)，可以传入scope进行过滤，源码如下：
-
def get_variables_to_restore(include=None, exclude=None):
-
"""Gets the list of the variables to restore.
-
Args:
-
include:一个可选的scope的列表或者元组，用来过滤来自VARIABLES collection中的变量。如果为None，则包含所有的变量。
-
exclude: 一个可选的scope的列表或者元组，用来用来过滤来自VARIABLES collection中的变量。如果为None，则过滤掉所有的变量。
-
Returns:
-
变量列表
-
"""
-
if include
is
None:
-
# 包含所有变量，包括model_variable和regular_variable
-
vars_to_include = get_variables()
-
else:
-
if
not isinstance(include, (list, tuple)):
-
raise TypeError(
'include is provided but is not a list or a tuple.')
-
vars_to_include = []
-
for scope
in include:
-
vars_to_include += get_variables(scope)
-
vars_to_exclude = set()
-
if exclude
is
not
None:
-
if
not isinstance(exclude, (list, tuple)):
-
raise TypeError(
'exclude is provided but is not a list or a tuple.')
-
for scope
in exclude:
-
vars_to_exclude |= set(get_variables(scope))
-
# Exclude the variables in vars_to_exclude
-
return [v
for v
in vars_to_include
if v
not
in vars_to_exclude]
9、slim.assign_from_checkpoint_fn()：
返回一个函数，它从checkpoint文件读取变量值并分配给给特定变量。如果ignore_missing_vars为True，并且在检查点中找不到变量，则返回None。函数的源码如下
-
def assign_from_checkpoint_fn(model_path, var_list, ignore_missing_vars=False,
-
reshape_variables=False):
-
"""
-
Args:
-
model_path: 模型的checkpoint文件的绝对路径。为了得到最新的checkpoint文件，可以使用：model_path = tf.train.latest_checkpoint(checkpoint_dir)
-
var_list: A list of `Variable` objects or a dictionary mapping names in the
-
checkpoint to the corresponding variables to initialize. If empty or
-
`None`, it would return `no_op(), None`.
-
ignore_missing_vars: Bool型，如果为True，它将忽略在checkpoint文件中缺失的那些变量,。
-
reshape_variables: Bool型, 如果为真，那么那些与checkpoint文件中的变量有不同形状的变量将会自动被reshape。
-
Returns:
-
一个只需要一个参数(tf.Session)函数,它作用是进行赋值操作。如果在checkpoint文件中没有找到任何匹配的变量，那么将会返回None
-
-
"""
-
if
not var_list:
-
raise ValueError(
'var_list cannot be empty')
-
if ignore_missing_vars:
-
reader = pywrap_tensorflow.NewCheckpointReader(model_path)
-
if isinstance(var_list, dict):
-
var_dict = var_list
-
else:
-
var_dict = {var.op.name: var
for var
in var_list}
-
available_vars = {}
-
for var
in var_dict:
-
if reader.has_tensor(var):
-
available_vars[var] = var_dict[var]
-
else:
-
logging.warning(
-
'Variable %s missing in checkpoint %s', var, model_path)
-
var_list = available_vars
-
if var_list:
-
saver = tf_saver.Saver(var_list, reshape=reshape_variables)
-
def callback(session):
-
saver.restore(session, model_path)
-
return callback
-
else:
-
logging.warning(
'No Variables to restore')
-
return
None
10、tf.contrib.metrics.aggregate_metric_map():
将{metric_name:(value_tensor, update_op)}的字典转为两个字典：{metric_name:value_tensor}和{metric_name:update_op}，其中(value_tensor, update_op)由tf.metric.xxx函数产生。当metric列表的长度很长的话，将metric_name和与之相关的value_tensor和update_op配对是非常有效的。
-
Args:
-
names_to_tuples: 一个metric_name到tuples的映射。每个tuple包含metric数据流的键值对：(value_tensor, update_op)
-
-
Returns:
-
返回两个字典，一个是包含metric_name到value_tensor的映射,另一个包含metric_name到update_op的映射。
-
-
Example:
-
metrics_to_values, metrics_to_updates = slim.metrics.aggregate_metric_map({
-
'Mean Absolute Error': new_slim.metrics.streaming_mean_absolute_error(
-
predictions, labels, weights),
-
'Mean Relative Error': new_slim.metrics.streaming_mean_relative_error(
-
predictions, labels, labels, weights),
-
'RMSE Linear': new_slim.metrics.streaming_root_mean_squared_error(
-
predictions, labels, weights),
-
'RMSE Log': new_slim.metrics.streaming_root_mean_squared_error(
-
predictions, labels, weights),
-
})
11、Slim.conv2d_transpose（）：实现反卷积
这里反卷积的输出需要根据stride和padding方式进行计算。假设反卷积输入为 [x，x] ， 输出为 [y，y]，当padding为SAME时，y = x * stride ；当padding为VALID时， ( y - kernel_size ) / stride + 1 = x ，根据x可以求出y。更详细的理解参考这里。
-
def convolution2d_transpose(
-
inputs,
-
num_outputs,
-
kernel_size,
-
stride=1,
-
padding='SAME',
-
data_format=DATA_FORMAT_NHWC,
-
activation_fn=nn.relu,
-
normalizer_fn=None,
-
normalizer_params=None,
-
weights_initializer=initializers.xavier_initializer(),
-
weights_regularizer=None,
-
biases_initializer=init_ops.zeros_initializer(),
-
biases_regularizer=None,
-
reuse=None,
-
variables_collections=None,
-
outputs_collections=None,
-
trainable=True,
-
scope=None):
-
"""
-
增加一个带BN的反卷积层，这个函数创建一个weights变量代表卷积核，与输入进行卷积。如果normalizer_fn为None，第二个biase变量将会被创建，加在卷积后的结果上面。
-
Args:
-
inputs: 一个四维Tensor，形状为：[batch, height, width, in_channels]
-
num_outputs: 整数，卷积核的个数.
-
kernel_size: 卷积核大小，形状为[kernel_height, kernel_width]，如果高和宽相同的话也可以是一个整数.
-
stride: 卷积步长[stride_height, stride_width].如果高和宽相同的话也可以是一个整数.
-
padding: 填充方式： 'VALID' 或者 'SAME'.
-
data_format: 数据格式： `NHWC` (默认) 和 `NCHW`
-
activation_fn: 激活函数，默认为ReLU。如果设置为None，则不使用激活函数。
-
normalizer_fn: 归一化函数，用于代替biase的，如果归一化函数不为空，那么`biases_initializer`和`biases_regularizer` 将会被忽略，而且`biases`不会被添加到卷积结果。默认设置为None.
-
normalizer_params: 归一化函数的参数
-
weights_initializer: 权重初始化器，默认为xavier_initializer()
-
weights_regularizer:权重正则化器，默认为None。
-
biases_initializer: 偏置初始化器，默认是0初始化。如果设置为None，则跳过。
-
biases_regularizer: 偏置正则化器，默认为None。
-
reuse: 是否重用该网络层机器变量，如果重用网络层，那么必须提供scope
-
variables_collections: 变量集合，即把所有变量添加到这个集合中，默认为None.
-
outputs_collections: 输出结果集合，把结果添加到这个集合中，默认为None
-
trainable: 变量是否可训练，默认为True。
-
scope: 变量的variable_scope
-
Returns:
-
A tensor representing the output of the operation.
12、slim.batch_norm()：实现批量归一化
-
def batch_norm(inputs,
-
decay=0.999,
-
center=True,
-
scale=False,
-
epsilon=0.001,
-
activation_fn=None,
-
param_initializers=None,
-
param_regularizers=None,
-
updates_collections=ops.GraphKeys.UPDATE_OPS,
-
is_training=True,
-
reuse=None,
-
variables_collections=None,
-
outputs_collections=None,
-
trainable=True,
-
batch_weights=None,
-
fused=None,
-
data_format=DATA_FORMAT_NHWC,
-
zero_debias_moving_mean=False,
-
scope=None,
-
renorm=False,
-
renorm_clipping=None,
-
renorm_decay=0.99,
-
adjustment=None):
-
"""
-
添加一个BN层，对于conv2d和fully_connected而言，BN层相当于一个归一化函数。对于CNN中的一个batch而言，
-
对所有样本的同一位置的所有特征图进行归一化，如第一个样本的第一个特征图、第二个样本的第一个特征图......、
-
第m个样本的第一个特征图进行归一化，它们共享均值、方差、beta、gamma。每个特征图被当做一个神经元来处理。
-
注意: 训练时moving_mean 和 moving_variance 需要被更新，默认情况下，更新操作位于 `tf.GraphKeys.UPDATE_OPS`,
-
因此需要把这些更新操作添加到`train_op`的依赖中，比如：
-
```
-
update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS)
-
with tf.control_dependencies(update_ops):
-
train_op = optimizer.minimize(loss)
-
```
-
Args:
-
inputs: 一个四维tensor：[batch_size ,height,width ,channel]
-
decay: moving average的衰减因子. `decay`的合理值是接近于1. 典型为: 0.999, 0.99, 0.9等。如果模型在训练集上表现很好，但是验证集或者测试集很差，则可以把decay设置为更小的值，比如0.9. 为了改善性能，可以尝试zero_debias_moving_mean=True。
-
center:如果为true，则对归一化后的tensor添加偏置，如果为false，'beta'将会别忽略。
-
scale: 如果为true, 则乘以 `gamma`.如果为False, `gamma` 将不被使用. 如果下一层是线性的，比如nn.relu,那么scale将会失效，因为缩放可以被下一层实现。
-
epsilon: 一个加在方差上的小的浮点数，避免除零错误。
-
activation_fn: 激活函数，默认为None。
-
param_initializers: (可选)初始化器，为beta, gamma, moving mean，oving variance进行初始化。
-
param_regularizers: (可选)参数正则化器，为beta和gamma进行正则化。
-
updates_collections: 更新操作的集合，这个跟新操作需要和train_op同时执行，如果为None，必须要添加控制依赖，确保更新操作被计算。C
-
is_training: BN层是否是训练模式，如果是训练模式，将使用指数滑动平均和decay参数计算`moving_mean`和`moving_variance`. 如果不是训练模型，将直接使用`moving_mean`和'moving_variance`.
-
reuse: 该BN层的变量是否被重用，如果要重用，则需要提供scope。
-
variables_collections: (可选)变量的集合。
-
outputs_collections: BN层输出的集合。
-
trainable: 如果为True，则把变量添加到`GraphKeys.TRAINABLE_VARIABLES`
-
batch_weights: (可选)一个tensor,形状为：'[batch_size]`,包含一系列batch条目的权重。如果提供，那么BN的归一化过程中将对mean和variance进行加权处理。
-
fused: 如果为None或者True，则使用一个更快的实现方式。如果为False，那么使用系统推荐的实现方式。
-
data_format: 数据格式 `NHWC` (default) 或`NCHW`。
-
zero_debias_moving_mean: 为moving_mean使用zero_debias.它创建了一个新的变量对， 'moving_mean/biased' 和 'moving_mean/local_step'.
-
scope: (可选)变量的`variable_scope`.
-
renorm: 是否使用batch重归一化，这在训练时增加了额外的变量，该变量对预测时不影响。
-
renorm_clipping: 这个重归一化的把'rmax', 'rmin', 'dmax' 映射为`Tensors`一个字典， 用来对重归一化指定范围。`(r, d)` 用于`corrected_value = normalized_value * r + d`,`r` 属于[rmin, rmax], `d`属于 [-dmax, dmax]. 如果没有rmax, rmin, dmax 将被设置为 inf, 0, inf.
-
renorm_decay: 重归一化的权重衰减。
-
adjustment: 这是一个调整函数，对输入值进行调整。
-
Returns:
-
A `Tensor` representing the output of the operation.
13、slim.max_pool2d()、slim.avg_pool2d()：实现最大或者均值池化：
-
def max_pool2d(inputs,
-
kernel_size,
-
stride=2,
-
padding='VALID',
-
data_format=DATA_FORMAT_NHWC,
-
outputs_collections=None,
-
scope=None):
-
"""Adds a 2D Max Pooling op.
-
Args:
-
inputs: 一个4-D tensor，形状为[batch_size, height, width, channels]或者[batch_size, channels, height, width]
-
kernel_size: 池化核的尺寸: [kernel_height, kernel_width]，如果两个值相同的话可以为一个整数值。
-
stride: 池化步长 [stride_height, stride_width].如果两个值相同的话可以为一个整数值。
-
padding: 填充方式，为 'VALID' 或者 'SAME'.
-
data_format: 数据格式，支持 `NHWC` (default)和 `NCHW`
-
outputs_collections: 输出被添加到的集合
-
scope: 可选的name_scope.
-
Returns:
-
返回池化操作后的tensor.
-
"""
-
-
def avg_pool2d(inputs,
-
kernel_size,
-
stride=2,
-
padding='VALID',
-
data_format=DATA_FORMAT_NHWC,
-
outputs_collections=None,
-
scope=None):
-
"""Adds a 2D average pooling op.
-
"""Adds a
2D Max Pooling op.
-
Args:
-
inputs: 一个
4-D tensor，形状为[batch_size, height, width, channels]或者[batch_size, channels, height, width]
-
kernel_size: 池化核的尺寸: [kernel_height, kernel_width]，如果两个值相同的话可以为一个整数值。
-
stride: 池化步长 [stride_height, stride_width].如果两个值相同的话可以为一个整数值。
-
padding: 填充方式，为
'VALID' 或者
'SAME'.
-
data_format: 数据格式，支持 `NHWC` (default)和 `NCHW`
-
outputs_collections: 输出被添加到的集合
-
scope: 可选的name_scope.
-
Returns:
-
返回池化操作后的tensor.
-
"""
214
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
