DNN在TensorFlow框架的实现

最新推荐文章于 2024-05-29 13:07:10 发布

oetuw

最新推荐文章于 2024-05-29 13:07:10 发布

阅读量1.8k

点赞数 1

分类专栏： tensorflow基础文章标签： dnn

本文链接：https://blog.csdn.net/oetuw/article/details/78282566

版权

tensorflow基础专栏收录该内容

2 篇文章 0 订阅

订阅专栏

一、使用tensorflow表达一个batch的数据

tensorflow提供placeholder机制用于提供输入数据，其相当于一种占位符如%d这种，这个位置的数据在程序运行时再指定，这样在程序中就不需要生成大量常量来提供输入数据
placeholder定义时这个位置上的数据类型是需要指定的
例子：

x = tf.placeholder(tf.float32,shape(3,2))

feed_dict来指定x的取值，它是一个字典

feed_dict = {x: [[7,9],[1,2],[3,4]]}

二、设计以及优化神经网络

1、去线性化

2、损失函数

3、反向传播算法

4、避免过拟合的正则化

5、滑动平均模型在未知数据上更健壮

经典损失函数：

交叉熵（cross_entropy）刻画了输出向量和期望向量的概率分布距离

Softmax函数将神经网络输出变成一个概率分布，从而可以通过交叉熵来计算预测概率分布和真实答案的概率分布之间的距离

然后通过反向传播算法来调整神经网络参数的取值使得差距可以被缩小

以下代码定义了一个简单的损失函数

定义损失函数y_代表正确结果，y代表预测值

cross_entropy = -tf.reduce_mean(y_*tf.log(tf.clip_by_value(y,le-10,1.0)))

定义反向传播算法来优化神经网络中的参数,学习率定义了每次参数移动的幅度,学习率 #的设置要靠经验

train_step=tf.train.Adamoptimizer(learning_rate).minimize(loss)

神经网络训练过程模型结构

batch_size =n

每次选取一小部分数据作为当前训练数据来执行反向传播算法

x= tf.placeholder(tf.float32,shape=batch_size,2),name=’x-input’)

y_= tf.placeholder(tf.float32,shape=batch_size,1),name=’y-input’)’

定义神经网络结构和优化算法

loss=...

train_step=tf.train.Adamoptimizer(learning_rate).minimize(loss)

训练神经网络

with tf.Session() as sess:

初始化参数

...

迭代的更新参数

for I in range(STEPS):

准备batch_size个训练数据。一般将所有训练数据随即打乱之后再选取，可以得到更好的#优化效果

current_X，current_Y=...

sess.run(train_step,feed_dict={x: current_X ,y_= current_Y})