deeplearning
文章平均质量分 77
叫什么就是什么
大学生程序员
展开
-
LeNet-5
这里介绍原版的LeNet-5,在《Gradient-Based Learning Applied to Document Recognition》中描述的LeNet-5。LeNet-5用于识别手写字符图像。手写字符图像很大,有几百个像素。如果标准的全连接神经网络的第一层有几百个隐藏单元,那么第一层的权重就有成千上万个。这么多参数就需要更大的训练集,同时增加了神经网络的复杂度,就可能增大训练误差...原创 2018-08-11 18:34:20 · 5710 阅读 · 0 评论 -
tensorflow读取文件数据
读取CSV文件数据在tensorflow中读取CSV文件需要用到TextLineReader和decode_csv。首先准备两个csv文件: file1.csv 内容:,2,3,4,111,,3,4,121,2,,4,131,2,3,,14file2.csv 内容:,2,3,4,211,,3,4,221,2,,4,231,2,3,,24第5列(最后一列...原创 2018-08-16 20:02:15 · 588 阅读 · 0 评论 -
tensorlfow 可视化
为了方便TensorFlow程序的理解、调试与优化,TensorFlow发布了可视化工具TensorBoard,我们可以使用TensorBoard来展示TensorFlow的图像,绘制图像生成的定量指标图以及附加数据。使用tf.summary记录要记录的标量,使用tf.merge_all_summaries合并所有的summary,避免逐个操作每个记录,当使用session运行之后生成数据,就...原创 2018-08-26 23:25:04 · 253 阅读 · 0 评论 -
深度学习标准化
深度学习标准化引言何凯明在他的论文《Rethinking ImageNet Pre-training》中不使用ImageNet预训练,直接使用参数随机初始化方式(scratch),成功地训练出目标检测任务的神经网络模型。为什么使用Batch Normalization不能从scratch训练目标检测任务的模型?为什么何凯明使用Group Normalization和Synchronized...原创 2018-12-04 08:30:26 · 2633 阅读 · 1 评论 -
Gaussian Mixture Loss
Gaussian Mixture Loss前言该论文思考了深度神经网络提取的特征与类别之间的关系,假设学习到的特征服从高斯混合分布,提出了高斯混合损失函数,同时提高了特征的类内紧凑性和类间可分离性(intra-class compactness and inter-class separability)。Gaussian Mixture Loss 1假设:特征服从高斯混合分布。有K个类别...原创 2019-05-01 18:11:49 · 3113 阅读 · 0 评论 -
Center Loss
Center Loss前言在深度学习里,深度学习网络通常被看作是特征提取器(从第1层网络层到最后一层隐藏层),提取出来的特征x随后经过线性变换(WTxW^T xWTx)得到类别分数,通过softmax层计算损失。通常,我们没有对提取出来的特征x提出太大的约束,只要它能被最后一层分类器正确分类就可以了。特征x与其类别要有什么关系,需要特征x具有什么约束,这些都没有被明确地要求或规定。Softma...原创 2019-04-29 15:56:31 · 4415 阅读 · 4 评论 -
Large-Margin Softmax Loss
Large-Margin Softmax Loss前言前言Large-Margin Softmax Loss也是为了提高类内特征的紧凑性,拉大类间特征的间隔(intra-class compactness and inter-class separability)而提出来的。Large-Margin Softmax Loss1该论文提出了一个增大类间特征间隔的softmax loss。...原创 2019-04-30 14:30:50 · 515 阅读 · 0 评论