- 博客(19)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 Tensorflow 中 learning rate decay 的奇技淫巧
深度学习中参数更新的方法想必大家都十分清楚了——sgd，adam等等，孰优孰劣相关的讨论也十分广泛。可是，learning rate的衰减策略大家有特别关注过吗？在训练神经网络时，使用学习率控制参数的更新速度．学习率较小时，会大大降低参数的更新速度；学习率较大时，会使搜索过程中发生震荡，导致参数在极优值附近徘徊．为此，在训练过程中引入学习率衰减，使学习率随着训练的进行逐渐衰减．learni...
2019-05-31 19:00:08
5495
2
原创 ubuntu 16.04 QtCreator 无法使用搜狗输入法问题
ubuntu 16.04 QtCreator 无法使用搜狗输入法问题这几天刚换上了ubuntu ，尝试一下Qt ！发现搜狗输入法 不能使用！在查阅和多次尝试后终于解决！于此分享一下！1.安装fcitx for Qt5动态库，执行如下命令：sudo apt-get installfcitx-libs-qt52.进入Qt安装目录的下面路径：{path}是Qt的安装目录cd ...
2019-05-23 15:40:39
378
原创 多任务学习Multi-task Learning(MTL)概述
本文学习资料主要来自An Overview of Multi-Task Learning in Deep Neural Networks 背景：只专注于单个模型可能会忽略一些相关任务中可能提升目标任务的潜在信息，通过进行一定程度的共享不同任务之间的参数，可能会使原任务泛化更好。广义的讲，只要l...
2019-05-20 19:24:10
7231
3
原创 图像分类算法优化技巧：Bag of Tricks for Image Classification
论文：Bag of Tricks for Image Classification with Convolutional Neural Networks论文链接：https://arxiv.org/abs/1812.01187论文复现对很多人而言难度都比较大，因为常常涉及很多细节，部分细节对于模型效果影响很大，但是却很少有文章介绍这些细节，前段时间正好看到这篇文章，再加上之前就有关注Gluo...
2019-05-20 19:02:40
769
原创 神经网络CNN训练tricks
神经网络构建好，训练不出好的效果怎么办？明明说好的拟合任意函数(一般连续)(为什么？可以参考http://neuralnetworksanddeeplearning.com/)，说好的足够多的数据(Occam's_razor），仔细设计的神经网络都可以得到比其他算法更好的准确率和泛化性呢(当然不是我说的)，怎么感觉不出来呢？很直观，因为神经网络可以随意设计，先验假设较少，参数多，超参数...
2019-05-20 18:13:34
1142
原创 MobileNetV3论文讲解
在现代深度学习算法研究中，通用的骨干网+特定任务网络head成为一种标准的设计模式。比如VGG + 检测Head，或者inception + 分割Head。在移动端部署深度卷积网络，无论什么视觉任务，选择高精度的计算量少和参数少的骨干网是必经之路。这其中谷歌家去年发布的 MobileNetV2是首选。在MobileNetV2论文发布时隔一年4个月后，MobileNetV3 来了！论文名称《...
2019-05-20 16:58:07
8292
原创 常用计算机视觉实验图像库和图像集
转自http://www.cppblog.com/cdy20/archive/2012/10/10/193134.html 资料库 KDD杯的中心，所有的数据，任务和结果。 UCI机器学习和知识发现研究中使用的大型数据集KDD数据库存储库。 UCI机器学习数据库。 AWS（亚马逊网络服务）公共数据集，提供了一个集中的资料库，可以无缝集成到基于AWS的云应用程序的公共数据集。...
2019-05-20 14:18:59
799
原创 使用numpy解决图像维度变换问题
在这篇文章中：numpy函数介绍 1. np.transpose(input, axes=None) 2. np.concatenate((a1, a2, …), axis=0) 3. np.newaxis 实践出真知 1. 扩展出一个新的维度用来表示channel 2.叠加channel 3.维度转置 4.验证是否正确 5.整体演示代码 numpy函数...
2019-05-17 19:19:26
4936
1
原创 神经网络架构搜索（NAS）综述
本文是一篇神经网络架构搜索综述文章，从 Search Space、Search Strategy、Performance Estimation Strategy 三个方面对架构搜索的工作进行了综述，几乎涵盖了所有近几年的优秀工作。论文：Neural Architecture Search: A Survey链接：https://www.paperweekly.site/papers/2249作...
2019-05-17 18:08:46
2621
原创 解决matplotlib中文乱码问题（Ubuntu16.04）
网上教程很多，但是折腾了好久才弄好。特此记录一下。查看matplotlib配置文件位置>>> import matplotlib>>> print matplotlib.matplotlib_fname()/home/ubuntu/anaconda3/lib/python3.6/site-packages/matplotlib/mpl-data/ma...
2019-05-16 16:21:09
164
原创 tensorflow oom报错OOM的问题
OOM定义—out of memory，内存溢出，一个程序中，已经不需要使用某个对象，但是因为仍然有引用指向它垃圾回收器就无法回收它，当该对象占用的内存无法被回收时，就容易造成内存泄露。多个内存泄漏最终会导致内存溢出，即OOM。这个报错的原因有很多1、自身代码有问题，导致GPU内存不够用这个只能自查2、有未释放的GPU资源，导致GPU不够用；当然也有可能多人使用GPU，别人使用了。解...
2019-05-14 19:16:43
5715
原创 Tensorflow 运行时内存持续增长导致系统崩溃的问题
在用tensorflow实现一些模型的时候，有时候我们在运行程序的时候，会发现程序占用的内存在不断增长。最后内存溢出，程序被kill掉了。这个问题，其实有两个可能性。一个是比较常见，同时也是很难发现的。 tensorflow 训练部分代码几乎都采用循环，如果在循环中用到tf的op操作，就会导致节点越来越多，图的大小也不停的增大，故而内存会持续增长。这个问题的解决，需要我们知道tensorfl...
2019-05-14 18:37:24
3783
原创 tensorflow实现将ckpt转pb文件
本博客实现将自己训练保存的ckpt模型转换为pb文件，该方法适用于任何ckpt模型，当然你需要确定ckpt模型输入/输出的节点名称。目录tensorflow实现将ckpt转pb文件一、CKPT 转换成 PB格式二、 pb模型预测三、源码下载和资料推荐1、训练方法2、本博客Github地址3、将模型移植Android的方法 使用 ...
2019-05-09 19:07:49
1022
原创 Tensorflow保存和恢复模型
在tensorflow中保存和恢复模型主要通过tf.train.Saver()，具体如下：保存模型saver = tf.train.Saver()获得一个文件句柄，将训练中的某一个快照状态保存到文件中去 saver.save(sess, os.path.join(model_dir, ‘ckp-%05d’%(i+1)))，将训练好的模型保存到文件中 参数1：sess，session会话，...
2019-05-09 18:02:07
290
原创 线性代数中特征向量物理意义
什么是特征向量，特征值，矩阵分解[1. 特征的数学意义] 我们先考察一种线性变化，例如x,y坐标系的椭圆方程可以写为x^2/a^2+y^2/b^2=1，那么坐标系关于原点做旋转以后，椭圆方程就要发生变换。我们可以把原坐标系的(x,y)乘以一个矩阵，得到一个新的(x',y')的表示形式，写为算子的形式就是(x,y)*M=(x',y')。这里的矩阵M代表一种线性变换：拉伸，平移，旋转...
2019-05-09 15:24:43
2296
原创 主成分分析 PCA算法
对同一个体进行多项观察时，必定涉及多个随机变量X1，X2，…，Xp，它们都是的相关性, 一时难以综合。这时就需要借助主成分分析 (principal component analysis)来概括诸多信息的主要方面。我们希望有一个或几个较好的综合指标来概括信息，而且希望综合指标互相独立地各代表某一方面的性质。任何一个度量指标的好坏除了可靠、真实之外，还必须能充分反映个体间的变异。如果有一项指标，...
2019-05-09 15:24:10
1330
原创 Tensorflow中BN层的使用
使用tf.layers.batch_normalization()需要三步：在卷积层将激活函数设置为None。使用batch_normalization。使用激活函数激活。需要特别注意的是：在训练时，需要将第二个参数training = True。在测试时，将training = False。同时，在降低loss时候时候：update_ops = tf.get_collectio...
2019-05-09 15:20:37
8328
5
原创 为什么局部下降最快的方向就是梯度的负方向
▌什么是梯度？对于梯度下降算法（Gradient Descent Algorithm），我们都已经很熟悉了。无论是在线性回归（Linear Regression）、逻辑回归（Logistic Regression）还是神经网络（Neural Network）等等，都会用到梯度下降算法。我们先来看一...
2019-05-09 14:45:12
678
原创 TensorFlow中batch norm原理，使用事项与踩坑
一、机器学习领域有个重要假设：独立同分布independent and identically distributed (i.i.d.)在概率统计理论中，指随机过程中，任何时刻的取值都为随机变量，如果这些随机变量服从同一分布，并且互相独立，那么这些随机变量是独立同分布。如果随机变量X1和X2独立，是指X1的取值不影响X2的取值，X2的取值也不影响X1的取值且随机变量X1和X2服从同一分布，这意...
2019-05-08 16:56:57
7083
斯坦福大学机器学习课程个人学习笔记（全集）
2014-10-04
Object Tracking via Partial Least Squares Analysis论文和代码
2014-09-11
数字水印 Digital+Watermarking+and+Steganography 第二版
2014-06-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人