深度学习
chen_holy
“你要是愿意, 我就永远爱你”——王小波《爱你就像爱生命》
展开
-
笔记 - 神经网络:正向传播与反向传播理论
-------------------------------------------待更新-----------------------------------------【TODO】结合表达式树,直观体会反向传播中链式法则的运用原创 2019-05-05 10:37:18 · 380 阅读 · 0 评论 -
笔记 - tensorflow:sess.run机制
import tensorflow as tfdef read_data(): print("read data ...") return tf.constant(value=[1.0, 2.0, 3.0], dtype=tf.float32)X = read_data()X_train = tf.placeholder(dtype=tf.float32)with tf...原创 2019-06-10 14:25:15 · 804 阅读 · 0 评论 -
笔记 - 数据读取:TFRecords 内部多线程读取文件 (一)
资料:Tensorflow高效读取数据tensorflow的数据输入TensorFlow和Keras解决大数据量内存溢出问题tensorflow的数据输入 - 屌都不会TensorFlow高效读取数据的方法Tensorflow TFRecords及多线程训练介绍 ——详细Google Protocol Buffer 的使用和原理《21个项目玩转深度学习:基于TensorFlow的实...原创 2019-06-20 10:02:52 · 566 阅读 · 0 评论 -
笔记 - 数据读取:TFRecords 内部多线程读取文件 (二)
对整个流程梳理具体分析在上篇笔记 - 数据读取:TFRecords 内部多线程读取文件 (一)正文...filename_queue = tf.train.string_input_producer(filenames)reader = tf.FixedLengthRecordReader(record_bytes=3073)key, value = reader.read...原创 2019-06-20 12:21:47 · 213 阅读 · 0 评论 -
笔记 - DNN: 构建网络 与 添加正则化项的不同方式
前置fully_conecteddef fully_connected(inputs, num_outputs, activation_fn=nn.relu, normalizer_fn=None, normalizer_param...原创 2019-06-11 13:02:17 · 542 阅读 · 0 评论 -
笔记 - 卷积网络:卷积输出张量shape计算
前置:影响shape形状的因素:1.卷积核大小2.stride步长3.padding模式公式:K – 卷积核数量F – 卷积核大小S – 步长P – 外围填充的层数运用显然valid模式下,直接卷,不够就丢弃我推导的valid模式下的计算方式(以 W 举例):W2 = (W1 - F)/S + 1SAME模式如何确定P利用公式1计算...原创 2019-06-11 16:13:07 · 4569 阅读 · 0 评论 -
笔记 - 深度学习脉络整理:1.基础结构单元
资料:深度学习基础课程深度学习大讲堂 - 首期第三讲:深度学习基础概括图基础结构单元所有op得知道是什么意思全连接层的op卷积层的op…激活函数为什么说激活函数是神经网络非线性性的来源激活函数的取值范围激活函数的导数损失函数调整网络:调网络结构调损失函数损失函数的物理意义损失函数的导数网络训练误差反向传播算法如何做参数...原创 2019-06-12 11:29:07 · 731 阅读 · 0 评论 -
笔记 - 深度学习脉络整理:2.损失函数
脉络结构1. 结构2. 损失3. 优化思考:为什么使用softmaxsoftmax存在的问题交叉熵损失的含义题外话:清楚原理之后,可以对它进行改进使用 softmax 的时候,有一个默认的前提,就是每个物体只属于一类比如人脸识别,每张脸只能对应一个人思考:sigmod二分类的Loss,与softmax多分类的Loss 的区别sigmod 与...原创 2019-06-12 13:50:29 · 196 阅读 · 0 评论 -
笔记 - 服饰关键点检测:原理篇
数据集原创 2019-06-28 12:00:17 · 1929 阅读 · 1 评论 -
笔记 - 数据读取:cifar10多线程读取2
总结:1.images_train, labels_train = cifar10_input.distorted_inputs( data_dir=data_dir, batch_size=batch_size)并不是真的读取数据,而是定义了一系列逻辑操作,返回tensor * tensor里面那些读文件的操作,如何做到在sess.run的时候才真正执行2.for ste...原创 2019-06-10 14:08:57 · 166 阅读 · 0 评论 -
笔记 - 数据读取:cifar10多线程读取1
理论数据增强1张图片变7张图片cifar10.py主要负责cifar10数据集下载定义几个参数batch_size下载数据集存放的地址用什么类型的格式存放模型参数w存储变量数据的一个对象使用eg:cifar10_input.py主要负责数据读取处理IMAGE_SIZE = 24 , 实质就是将cifar10图片原始大小...原创 2019-06-10 13:14:13 · 171 阅读 · 0 评论 -
笔记 - 神经网络:梯度检查
参考:卷积神经网络入门到精通【不太理解,先记录一下】原创 2019-06-10 09:20:21 · 468 阅读 · 0 评论 -
笔记 - 神经网络:为何需要深层网络
参考:深层神经网络与浅层神经网络的区别吴恩达深度学习笔记(24)-为什么要使用深度神经网络?原创 2019-05-25 17:00:11 · 1172 阅读 · 0 评论 -
笔记 - AI:神奇的神经网络
非常不严谨的笔记,原创 2019-05-17 21:27:03 · 189 阅读 · 0 评论 -
笔记 - 卷积网络:1×1卷积核
首先是卷积核的作用1.比全连接参数少很多的特征提取器2.数据通道增加或减少1x1卷积核与其他大小卷积核的不同用最少的参数实现数据通道地增加或减少减少数据通道的作用:减少接下来的计算量,减少参数other观点增加非线性相当于一个全连接网络我觉得不太像资料深度学习——1×1卷积核理解全 中文字幕 - 深度学习_吴恩达_DeepLearning.ai...原创 2019-06-13 09:46:44 · 357 阅读 · 0 评论 -
笔记 - 卷积网络:全连接 卷积核 池化核
总结:全连接侧重 特征的精确位置卷积层侧重 特征的相对位置思考:每次训练都能学到一样的局部特征吗,为什么卷积核一个卷积核,就是一个局部特征所以卷积层的输出会更少地依赖特征的精确位置(相比全连接层)为什么这么说:因为全连接层的权重和位置有着紧密的关联但卷积层的权重和特征本身紧密关联优点:计算量少,泛化能力高理解内在逻辑池化核一个过滤器作用:让特征...原创 2019-06-13 11:00:00 · 2772 阅读 · 0 评论 -
笔记 - 卷积神经网络:卷积核数量 与 网络性能之间的关系
参考卷积滤波器核的数量与网络性能之间的关系当前神经网络只有 一层卷积层,一层activation,一层池化,一层全连接难道卷积核数量越多,准确率就越高吗,那还要深层网络干嘛??...原创 2019-06-06 19:21:06 · 2927 阅读 · 0 评论 -
笔记 - 卷积神经网络:激活函数 与 网络性能之间的关系
参考改变网络激活函数观察网络性能的变化全连接层一直是线性输出层(Linear)Loss训练集测试集准确率训练集测试集sigmod函数表现为啥这么糟糕...原创 2019-06-06 20:25:55 · 1606 阅读 · 0 评论 -
笔记 - 卷积神经网络:学习率与权重初始化方式 与 网络性能之间的关系
参考学习率与权重初始化对网络性能的影响分析随机实验2次学习率大容易振荡原创 2019-06-06 20:51:05 · 4293 阅读 · 1 评论 -
笔记 - 神经网络算法设计:一.数据预处理
零中心化(均值减法)就是减均值嘛【老师说:】 对于图像数据,零中心化操作很重要,因为图像受光照影响一般表现就是整体像素偏大或者偏小【我的理解:】整体像素偏大的理解是图片比较昏暗,所以减去均值,整体像素如果偏小,应该是偏亮,这时候还需要减去均值 ???归一化上图的操作与 均值归一化,方差归一化,标准归一化 的关系 ?...原创 2019-06-07 17:21:10 · 976 阅读 · 0 评论 -
笔记 - 卷积神经网络设计 理论部分(一)
思考1. 卷积神经网络如何减少参数量和计算量relu激活函数dropout使用1×1卷积核进行减少参数量和计算量对标准卷积的拆分(使用深度可分离卷积)2. 各类经典卷积网络的特点3. 卷积计算量的计算4. 注意区分1x1 PW conv 和 1x1 GConv 经典卷积网络LetNet通常 简单的分类网络结构:输入 - 卷积池化(层数未定) - 全连接(层数...原创 2019-07-17 15:52:40 · 509 阅读 · 0 评论