Tensorflow中构建神经网络所需要的神经元函数,包括各种激活函数,卷积函数,池化函数,损失函数,优化器等。
激活函数运行时激活神经网络中某一部分神经元,将激活信息向后传入下一层的神经网络。神经网络之所以能解决非线性问题(如语音,图像识别),本质上就是激活函数加入非线性因素,弥补了线性模型的表达力,把“激活的神经元的特征”通过函数保留并映射到下一层。
tf.nn.relu()
tf.nn.sigmoid()
tf.nn.tanh()
tf.nn.elu()
tf.nn.bias_add()
tf.nn.crelu()
tf.nn.relu6()
tf.nn.softplus()
tf.nn.softsign()
tf.nn.dropout()#防止过拟合,用来舍弃某些神经元
激活函数输入均要计算x,输出均为与x数据类型相同的张量。
import tensorflow as tf
a = tf.constant([[1.0,2.0],[1.0,2.0],[1.0,2.0]])
with tf.Session() as sess:
print(sess.run(tf.sigmoid(a)))
卷积函数:
卷积函数时构建神经网络的重要支架,是在一批图像上扫描的二维过滤器。