2018年06月_海绵大爷

原创关于准确率的详细介绍

主要是参考了《tensorflow》pdf的文档，首先使用的是一个tf.argmax的函数，它会找出某个tensor对象在某一个维度上最大值的索引。因为一般标签都是0，1，因此最大值1所在的索引位置就是类别标签，比如tf.argmax（y,1）返回的是模型对于任意输入x预测的标签值，而tf.argmax（y_,1）代表正确的标签，我们可以用tf.equal来检测我们的预测是否真实标签匹配（索引位置...

2018-06-18 20:46:49 564

原创用简单神经网络识别手写数字

#!/usr/bin/env python# -*- coding: utf-8 -*-#用一个简单网络做一个手写数字识别import tensorflow as tfimport tensorflow.examples.tutorials.mnist.input_data as input_datamnist=input_data.read_data_sets('MNIST',one_...

2018-06-18 20:02:24 396

原创梯度下降

梯度下降直白点说就是我们希望可是使Cost Function最小，通过对目标函数的W（权重）求偏导，来更新W的一个过程。很多情况下，我们只能找到的是局部最优解，如果损失函数是凸函数的话我们也可以找到全局最优。那么就需要对梯度下降进行优化。在机器学习中，有俩种梯度下降的优化过程，一个是随机梯度下降，一个是批量梯度下降。BGD（Batch Gradient Descent）更新每一个参数都...

2018-06-18 13:01:39 225

原创激活函数简介

在说激励函数之前，我想先说一下softmax这个函数。我之前一直认为softmax是激励函数，但是感谢我的室友建哥纠正了我（什么时候我的深度学习可以像建哥一样优秀，我就满足了）。softmax模型可以用来给不同的对象分配概率，将n分类的n个输出，变为满足以下概率分布要求的函数。简单点说，softmax函数是一个分类函数。激活函数：运行时激活神经网络中某一部分神经元，将激活信息向后传入下一层...

2018-06-15 22:12:33 2355

原创监督学习语无监督学习的区别

监督学习关注对事物的未知表现预测，一般包括分类问题和回归问题；无监督学习则倾向于对事物本身特性的分析，常用的技术包括数据降维（通常来说是PCA,但实际上LDA是属于一种降维的2分类问题，但是不属于无监督学习）和聚类问题等。分类问题，对其所有的类别进行预测，类别即是离散的，同时也是预先知道数量的。回归问题是预测问题，指数预测的目标往往是连续的变量。数据降维是对事物的特征进行压缩和筛选。...

2018-06-15 20:11:04 293

原创关于学习率的调整

学习率的设置学习率是决定模型好坏的一个关键因数。过大的学习率会导致在局部最优解附近活动，很难找到最优解；过小的学习率优会导致收敛速度太慢。如何找到一个合适的学习率，一般来说我们可以自己根据模型的收敛程度去自己设置学习率，常用的学习率有0.1，0.01，0.001。除了我们手动去调节学习率，也可以使用指数衰减学习率（学习率随着训练的轮数而动态更新）。学习指数衰减学习率，我们需要记住4个参...

2018-06-15 10:22:36 1633

原创搭建一个简单的神经网络

”’def add_layer():最基础的四个参数：输入值，输入的大小，输出的大小和激励函数，激励函数可以自己添加，也可以不使用激励函数。”’def add_layer(inputs,in_size,out_size,activation_function=None):接下来我们定义weight和biasesweight=tf.Variable(tf.random_norma...

2018-06-15 09:10:17 978 4

原创 6.14关于神经网络正则化的学习

6.14关于神经网络正则化的学习 ##在之前电话面试中，考官问我你对过拟合有什么了解？我说过拟合就是对训练集数据的拟合程度很好，但对测试集数据没有很好的拟合（其实简单点说就是模型没有很好的泛化能力）。既然谈到了过拟合的问题，就避不开正则化这个问题。通俗意义上来说，解决过拟合，最好的办法就是增加数据集（有时候不一定是数据集不够，也有可能是特征提取的问题）。其次就是正则化以及卷积神经网络中的...

2018-06-14 22:09:29 251

hanrui4721960的博客