卷积神经网络学习笔记（基于MNIST数据集）

卷积神经网络学习笔记（基于MNIST数据集）

1、如何查看数据类型
print(type(testset_image))，其中testset_image是需要查看的数据变量。
OUT：<class ‘dict’>
2、查看dict数据的条目数
len(testset_image)
OUT：4
查看工作区如下：
也可以通过代码查看：testset_image.keys()
OUT：dict_keys([‘header’, ‘version’, ‘globals’, ‘Test_img_bufer’])
3、输出键值中的内容
print(testset_image[‘Test_img_bufer’])，Test_img_bufer为键值变量。
4、sess = tf.compat.v1.InteractiveSession()、tf.InteractiveSession()、tf.Session()区别及含义
参考：https://blog.csdn.net/qq_39521554/article/details/82886377
https://blog.csdn.net/qq_14839543/article/details/77822916
5、tf.placeholder函数说明
参考：https://blog.csdn.net/kdongyi/article/details/82343712
6、tf.reshape()函数说明
参考：https://blog.csdn.net/m0_37592397/article/details/78695318
7、keep_prob
官网上的解释是：keep_prob: A scalar Tensor with the same type as x. The probability that each element is kept.
意思是每个元素被保留的概率，那么 keep_prob:1就是所有元素全部保留的意思。
一般在大量数据训练时，为了防止过拟合，添加Dropout层，设置一个0~1之间的小数。
8、drop out防止过拟合
参考：https://blog.csdn.net/qq_37791134/article/details/84714760
深度学习框架tensorflow学习与应用6（防止过拟合dropout，keep_prob =tf.placeholder(tf.float32)）
https://blog.csdn.net/huahuazhu/article/details/73649389
TensorFlow学习—tf.nn.dropout防止过拟合
9、 tf.equal函数解释
参考：https://blog.csdn.net/ustbbsy/article/details/79564529
逐个元素判断是否相等，
with tf.Session() as sess:是什么意思
10、tf.argmax
参考：https://blog.csdn.net/u012300744/article/details/81240580
寻找每一行或每一列的最大值或最小值，0是每一列最大值的下标，1是每一行最大值的下标。
11、tf.reduce_mean
参考：https://blog.csdn.net/dcrmg/article/details/79797826
tf.reduce_mean 函数用于计算张量tensor沿着指定的数轴（tensor的某一维度）上的的平均值，主要用作降维或者计算tensor（图像）的平均值。
12、tf.cast
参考：https://blog.csdn.net/dcrmg/article/details/79747814
张量数据类型转换
13、sess.run函数
参考：https://blog.csdn.net/lcczzu/article/details/91449731
14、batch_size
一次训练所需的样本数
参考：https://blog.csdn.net/qq_34886403/article/details/82558399
https://www.zhihu.com/question/61607442
15、learning_rate 学习率
可以由上图看出，固定学习率时，当到达收敛状态时，会在最优值附近一个较大的区域内摆动；而当随着迭代轮次的增加而减小学习率，会使得在收敛时，在最优值附近一个更小的区域内摆动。（之所以曲线震荡朝向最优值收敛，是因为在每一个mini-batch中都存在噪音）。
参考：https://www.cnblogs.com/lliuye/p/9471231.html
16、tf.train.AdamOptimizer函数
参考：https://blog.csdn.net/qq_39852676/article/details/98477214
实际上运行tf.train.AdamOptimizer(),除了利用反向传播算法对权重和偏置项进行修正外，也在运行中不断修正学习率。根据其损失量学习自适应，损失量大则学习率大，进行修正的角度越大，损失量小，修正的幅度也小，学习率就小，但是不会超过自己所设定的学习率。
17、tf.train.Saver()
参考：https://www.cnblogs.com/bevishe/p/10359993.html
18、mnist.validation.images
验证数据集
19、索伯滤波器（Sobel filter）

经Sobel算子处理后，其图像如下图二所示。

可以得到，Sobel算子为边缘检测算子。
20、tf.Variable
在TensorFlow的世界里，变量的定义和初始化是分开的，所有关于图变量的赋值和计算都要通过tf.Session的run来进行。想要将所有图变量进行集体初始化时应该使用tf.global_variables_initializer。
此处使用tf.initialize_all_variables() 用于初始化变量。但是这句话仍然不会立即执行。需要通过sess来将数据流动起来 。
参考：https://blog.csdn.net/xc_zhou/article/details/85415098
21、问题：module ‘tensorflow’ has no attribute ‘initialize_all_variables’
TensorFlow–initialize_all_variables改为tf.global_variables_initializer
initialize_all_variables已被弃用，将在2017-03-02之后删除。
说明更新：使用tf.global_variables_initializer代替。
22、Jupyter中清理一个代码块的输出
方法1：import IPython.display as display
display.clear_output(wait=True)
方法2：选中后，按两下X键
23、官方放弃1.0的session会话。我也要开始转型了。
24、tf.truncated_normal
参考：https://blog.csdn.net/qq_36512295/article/details/100599979
个人理解：产生一个满足要求（均值、方差）的随机数。
25、张量（tensor）矩阵（vector）的区别不同阶数的张量分别对应 实数、向量、二维矩阵、三维矩阵
矩阵可以表示张量，但不是张量。张量具有一定的物理意义，但是矩阵只是一族数字。
26、TensorFlow中padding卷积的两种方式“SAME”和“VALID”
参考：https://blog.csdn.net/syyyy712/article/details/80272071
当padding为SAME时，其输出图片大小与输入图片大小一致。
当padding为VALID时，其输出图片大小与输入图片大小可能不一致。
27、卷积神经网络中的通道数
参考：https://blog.csdn.net/weixin_38481963/article/details/109920512
对于最初输入图片样本的通道数 in_channels 取决于图片的类型，如果是彩色的，即RGB类型，这时候通道数固定为3，如果是灰色的，通道数为1。
卷积完成之后，输出的通道数 out_channels 取决于过滤器的数量。从这个方向理解，这里的 out_channels 设置的就是过滤器的数目。
对于第二层或者更多层的卷积，此时的 in_channels 就是上一层的 out_channels ， out_channels 还是取决于过滤器数目。
28、卷积核与滤波器的区别
python中的.astype可以转换数据类型
参考：https://blog.csdn.net/a1809032425/article/details/82316672
29、独热编码是什么
参考：https://blog.csdn.net/baidu_31437863/article/details/83788786
一位有效编码，不存在0 1之间的排列组合。
独热编码生成函数：keras.utils.to_categorical
参考：https://blog.csdn.net/qian2213762498/article/details/86584335
30、.add函数
python中add()方法用于给集合添加元素，如果添加的元素在集合中已存在，则不执行任何操作。
31、函数： tf.keras.Sequential()
32、Keras是什么
Keras 的核心数据结构是 model，一种组织网络层的方式。最简单的模型是 Sequential 顺序模型，它由多个网络层线性堆叠。对于更复杂的结构，你应该使用 Keras 函数式 API，它允许构建任意的神经网络图。
33、.load_data()
34、tf.keras.Sequential
搭建卷积神经网络模型
参考：https://www.cnblogs.com/peng8098/p/keras_7.html
https://blog.csdn.net/weixin_43939952/article/details/104037604