深度神经网络基础——深度学习神经网络基础 & Tensorflow在深度学习的应用_深度神经网络 学习 tensorflow

先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7

深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年最新软件测试全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img
img
img
img
img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上软件测试知识点,真正体系化!

由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

如果你需要这些资料,可以添加V获取:vip1024b (备注软件测试)
img

正文

在这里插入图片描述

http://yann.lecun.com/exdb/mnist/

在这里插入图片描述

TensorFlow的代码

import tensorflow as tf
old_v = tf.logging.get_verbosity()
tf.logging.set_verbosity(tf.logging.ERROR)
from tensorflow.examples.tutorials.mnist import input_data
FLAGS = tf.app.flags.FLAGS
tf.app.flags.DEFINE_integer(“is_train”, 1, “指定程序是预测还是训练”)

def full_connected():

获取真实的数据

mnist = input_data.read_data_sets(“./data/mnist/”, one_hot=True)
tf.logging.set_verbosity(old_v)

1、建立数据的占位符 x [None, 784] y_true [None, 10]

with tf.variable_scope(“data”): # 作用域
x = tf.placeholder(tf.float32, [None, 784])
y_true = tf.placeholder(tf.int32, [None, 10])

2、建立一个全连接层的神经网络 w [784, 10] b [10]

with tf.variable_scope(“fc_model”):

随机初始化权重和偏置

weight = tf.Variable(tf.random_normal([784, 10], mean=0.0, stddev=1.0), name=“w”)
bias = tf.Variable(tf.constant(0.0, shape=[10]))

预测None个样本的输出结果matrix [None, 784]* [784, 10] + [10] = [None, 10]

y_predict = tf.matmul(x, weight) + bias

3、求出所有样本的损失,然后求平均值

with tf.variable_scope(“soft_cross”):

求平均交叉熵损失

loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y_true, logits=y_predict))

4、梯度下降求出损失

with tf.variable_scope(“optimizer”):
train_op = tf.train.GradientDescentOptimizer(0.1).minimize(loss)# 学习率和最小化损失

5、计算准确率

with tf.variable_scope(“acc”):

equal_list = tf.equal(tf.argmax(y_true, 1), tf.argmax(y_predict, 1))

equal_list None个样本 [1, 0, 1, 0, 1, 1,…]

accuracy = tf.reduce_mean(tf.cast(equal_list, tf.float32))

收集变量 单个数字值收集

tf.summary.scalar(“losses”, loss)
tf.summary.scalar(“acc”, accuracy)

高纬度变量收集

tf.summary.histogram(“weightes”, weight)
tf.summary.histogram(“biases”, bias)

定义一个初始化变量的op

init_op = tf.global_variables_initializer()

定义一个合并变量的 op

merged = tf.summary.merge_all()

创建一个saver

saver = tf.train.Saver()

开启会话去训练

with tf.Session() as sess:

初始化变量

sess.run(init_op)

建立events文件,然后写入

filewriter = tf.summary.FileWriter(“./tmp/summary/test/”, graph=sess.graph)
if FLAGS.is_train == 1:# 如果是1,进行训练

迭代步数去训练,更新参数预测

for i in range(2000):

取出真实存在的特征值和目标值

mnist_x, mnist_y = mnist.train.next_batch(50)

运行train_op训练

sess.run(train_op, feed_dict={x: mnist_x, y_true: mnist_y})

写入每步训练的值

summary = sess.run(merged, feed_dict={x: mnist_x, y_true: mnist_y})

filewriter.add_summary(summary, i)

print(“训练第%d步,准确率为:%f” % (i, sess.run(accuracy, feed_dict={x: mnist_x, y_true: mnist_y})))

保存模型

saver.save(sess, “./tmp/ckpt/fc_model”)
else:# 如果是0,做出预测

加载模型

saver.restore(sess, “./tmp/ckpt/fc_model”)

如果是0,做出预测

for i in range(100):

每次测试一张图片 [0,0,0,0,0,1,0,0,0,0]

x_test, y_test = mnist.test.next_batch(1)
print(“第%d张图片,手写数字图片目标是:%d, 预测结果是:%d” % (
i,
tf.argmax(y_test, 1).eval(),
tf.argmax(sess.run(y_predict, feed_dict={x: x_test, y_true: y_test}), 1).eval()
))
return None

if name == “__main__”:
full_connected()

2.卷积神经网络

在这里插入图片描述

神经网络的进化

在这里插入图片描述
神经网络(neural networks)的基本组成包括输入层、隐藏层、输出层。而卷积神经网络的特点在于隐藏层分为卷积层和池化层(pooling layer,又叫下采样层)。

  • 卷积层:通过在原始图像上平移来提取特征,每一个特征就是一个特征映射
  • 池化层:通过特征后稀疏参数来减少学习的参数,降低网络的复杂度,(最大池化和平均池化)

在这里插入图片描述

结构示意图

在这里插入图片描述
零填充:
• 卷积核在提取特征映射时的动作称之为padding(零填充),由于移动步长不一定能整除整张图的像素宽度。其中有两种方式,SAME和VALID

  1. SAME:越过边缘取样,取样的面积和输入图像的像素宽度一致。
  2. VALID:不越过边缘取样,取样的面积小于输入人的图像的像素宽度
卷积层

tf.nn.conv2d(input, filter, strides=, padding=, name=None)
计算给定4-D input和filter张量的2维卷积
input:给定的输入张量,具有[batch,heigth,width,
channel],类型为float32,64
filter:指定过滤器的大小,[filter_height, filter_width, in_channels, out_channels]
strides:strides = [1, stride, stride, 1],步长
padding:“SAME”, “VALID”,使用的填充算法的类型,使用“SAME”。其中”VALID”表示滑动超出部分舍弃,“SAME”表示填充,使得变化后height,width一样大

在这里插入图片描述

新的激活函数-Relu

在这里插入图片描述

第一,采用sigmoid等函数,反向传播求误差梯度时,计算量相对大,而采用Relu激活函数,整个过程的计算量节省很多

第二,对于深层网络,sigmoid函数反向传播时,很容易就会出现梯度消失的情况(求不出权重和偏置)

激活函数:
tf.nn.relu(features, name=None)
features:卷积后加上偏置的结果
return:结果

池化层(Pooling)计算

Pooling层主要的作用是特征提取,通过去掉Feature Map中不重要的样本,进一步减少参数数量。Pooling的方法很多,最常用的是Max Pooling。

在这里插入图片描述
在这里插入图片描述
池化:
tf.nn.max_pool(value, ksize=, strides=, padding=,name=None)
输入上执行最大池数
value:4-D Tensor形状[batch, height, width, channels]
ksize:池化窗口大小,[1, ksize, ksize, 1]
strides:步长大小,[1,strides,strides,1]
padding:“SAME”, “VALID”,使用的填充算法的类型,使用“SAME”

Full Connected层:
分析:前面的卷积和池化相当于做特征工程,后面的全连接相当于做特征加权。最后的全连接层在整个卷积神经网络中起到“分类器”的作用。

案例:Mnist手写数字图片识别卷积网络案例

流程:
1、准备数据
2、卷积、激活、池化(两层)
3、全连接层
4、计算准确率

import tensorflow as tf
old_v = tf.logging.get_verbosity()
tf.logging.set_verbosity(tf.logging.ERROR)
from tensorflow.examples.tutorials.mnist import input_data

定义一个初始化权重的函数

def weight_variable(shape):
w = tf.Variable(tf.random_normal(shape=shape,mean=0.0,stddev=1.0))
return w

定义一个初始化偏置的函数

def bias_variable(shape):
b = tf.Variable(tf.constant(0.0,shape=shape))
return b
def model():
‘’’
自定义的卷积模型
:return:
‘’’

1、准备数据的占位符 x [None, 784] y_true [None, 10]

with tf.variable_scope(“data”): # 作用域

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化的资料的朋友,可以添加V获取:vip1024b (备注软件测试)
img

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
riable_scope(“data”): # 作用域

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化的资料的朋友,可以添加V获取:vip1024b (备注软件测试)
[外链图片转存中…(img-3OGLsoMw-1713584676552)]

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

  • 22
    点赞
  • 27
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值