使用keras实现swish以及h_swish激活函数的创建以及调用

一、使用keras实现swish以及h_swish激活函数的创建和添加

import tensorflow as tf
from keras import backend as K     
from keras.layers import Activation
from keras.utils.generic_utils import get_custom_objects

def swish(inputs):
    return (K.sigmoid(inputs) * inputs)
    
def h_swish(inputs):
    return inputs * tf.nn.relu6(inputs + 3) / 6
    
#函数绑定，将激活函数swish和h_swish添加到keras框的Activation类中
get_custom_objects().update({'swish': Activation(swish)})    
get_custom_objects().update({'h_swish': Activation(h_swish)})

二、swish和h_swish激活函数的调用

#example
#swish激活函数调用
outputs = keras.layers.Conv2D(
    filters=regression_feature_size,  #卷积核个数
    activation=’swish‘,
    name=None     #**options指的是字典传参
    **options)(inputs)   

#h_swish激活函数调用 
outputs = keras.layers.Conv2D(
    filters=regression_feature_size,  #卷积核个数
    activation=’h_swish‘,
    name=None     #**options指的是字典传参
    **options)(inputs)