- 博客(29)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 INSIGHT
The truth is like some substance. He exists in the high-dimensional space of the universe. People pursue the truth and they can only guess him with various interesting methods and approach him, but he...
2018-03-14 16:21:25
233
原创 tf.add_to_collection与tf.get_collection函数
tf.add_to_collection是把多个变量放入一个自己y用引号命名的集合里，也就是把多个变量统一放在一个列表中。tf.get_collection与之相反，是从列表中取出所有元素，构成一个新的列表。这一看这个tf.get_collection好像没什么作用，前后都还是列表。其实这样做是因为：例如： 之前用tf.add_to_collection将多个变量放在命名为‘regu...
2018-05-31 18:29:00
9465
1
原创 python匿名函数：lambda函数
lambda函数也叫做匿名函数，即不需要用def单独定义，没有函数名。一般为了在表达式中书写简便，比如表示式的一部分需要对某个参数做简单的运算操作，由于运算操作十分简单觉得没必要单独用def定义一个函数来实现它，就可以用lambda函数直接书写lambda函数格式： lambda parameters:express 冒号前的变量（允许空）作为参数传到后面的表达式中参与运算，表达式不能...
2018-04-08 15:15:20
500
原创 tf.slice()介绍
函数：tf.slice(inputs, begin, size, name)作用：从列表、数组、张量等对象中抽取一部分数据begin和size是两个多维列表，他们共同决定了要抽取的数据的开始和结束位置begin表示从inputs的哪几个维度上的哪个元素开始抽取 size表示在inputs的各个维度上抽取的元素个数若begin[]或size[]中出现-1,表示抽取对应维度上的所有元...
2018-04-08 14:55:49
26706
3
原创 ResNet个人理解
2015年最火的ResNet现在看已经是过去时了，后来的DenseNet、Mask-RCNN等架构的出现已经磨平了2015CVPR best paper的锋芒。ResNet的想法非常简单，学过闭环反馈的话都会自然地想到是不是可以将信息跳跃式地反穿？当然，结构上看ResNet是正向的一个skip connection (shortcut)。其实一直以来我都不理解为什么ResNet能够解决深层网络效果...
2018-03-16 15:55:32
10534
7
原创 线性代数基本公式结论简要总结(5)
本文总结对称矩阵、二次型和奇异值分解等内容。由于对称矩阵具有许多良好的性质，工程上被广泛应用。二次型和奇异值分解也是由对称矩阵具有的特殊性质推广得到的首先不要忘了之前讲特征值时提到的对角化公式： A=PDP−1A=PDP−1A=PDP^{-1} A具有n个线性无关的特征值，P的列空间由A的特征向量构成，D是对角线元素为A的特征值的对角矩阵若A为对称矩阵，则其不同特征空间中（一个特征...
2018-03-09 19:20:49
932
原创 线性代数基本公式结论简要总结(4)
本文复习矩阵的特征值、特征向量、对角化、正交性（投影、施密特正交化、QR分解、内积空间）等内容。特征值和特征向量： def:A为n×n矩阵，x为非零向量，若存在数λλ\lambda使Ax=λxAx=λxAx=\lambda x成立，则称λλ\lambda为A的特征值，x称为对应于λλ\lambda的特征向量。矩阵的特征值表征了矩阵的一些很重要的特征，特征值越大，说明其涵盖了矩阵越多的信息...
2018-03-09 12:14:26
1820
原创 线性代数基本公式结论简要总结(3)
本文总结向量空间的一些内容，由于向量空间的知识（子空间、矩阵的行列空间、空间的基、线性无关、空间维数、秩）在上一篇文章中已有很多介绍，因此本文着重回顾马尔科夫矩阵和傅里叶级数马尔科夫（Markov）矩阵： def:一个具有非负分量（元素）且各分量（元素）数值相加等于1的向量称为概率向量；马尔科夫矩阵又称随机矩阵，是各列向量均为概率向量的方阵马尔科夫链：由一组概率向量序列x0,x1,x2....
2018-03-08 22:24:16
844
原创 线性代数基本公式结论简要总结(2)
本文主要总结矩阵代数（运算、逆、分块矩阵、LU分解、子空间、秩）和行列式相关内容。矩阵乘积AB的每一列都是A各列的线性组合，且以B中对应的列的元素作为权重。矩阵的幂： 只有方阵可以乘幂，幂的计算可以利用矩阵对角化（特征值分解）实现： A=PΛP−1A=PΛP−1A=P\Lambda P^{-1} Ak=PΛkP−1Ak=PΛkP−1A^k=P\Lambda ^kP^{-1} 其中Λ...
2018-03-08 21:52:50
3907
原创 线性代数基本公式结论简要总结(1)
这两天在结合教材和MIT公开课的视频复习线代，希望能够在短时间内捡起两年前学过的东西。当时线代给我的最大感觉就是十分抽象，总是毫无道理地就给出一堆定义、概念和一些奇怪的公式推演，平时做的书后题和考试题大多数有很强技巧性的各种计算，最后感觉学到的全都是各种“毫无关联”的概念、公式和计算套路。因此最近复习时，着重思考和查找了许多概念之间存在的联系，以及它们的内在意义和常见应用场景，总结在博客的“线...
2018-03-08 00:39:06
5804
原创 特征提取— —Hog算法
HOG（Histogram of Oriented Gridients），方向梯度直方图，通过计算和统计图像局部区域的梯度方向直方图来构成图像的局部特征，在deep learning出现之前被广泛用于行人检测：Hog提取特征+SVM分类器，这一方法由Dalal等在2005年的CVPR上提出。整体方法：通过计算各个像素点的梯度大小和梯度方向，获取图像中各个局部的边缘方向的分布信息，并进行局部性的...
2018-02-28 01:57:08
1377
原创 集成学习方法及思想总结
集成学习（Ensemble Learning）有时也被笼统地称作提升（Boosting）方法，广泛用于分类和回归任务。它最初的思想很简单：使用一些（不同的）方法改变原始训练样本的分布，从而构建多个不同的分类器，并将这些分类器线性组合得到一个更强大的分类器，来做最后的决策。也就是常说的“三个臭皮匠顶个诸葛亮”的想法。集成学习的理论基础来自于Kearns和Valiant提出的基于PAC（proba...
2018-02-20 23:46:18
28794
原创 数据的归一化与标准化
机器学习中常见数据的归一化（normalization）和标准化（standardization），其实这二者的作用和处理方法都很相似，本文作简单介绍。两者的基本作用是消除不同变量之间量纲的影响，方便数据处理。在机器学习中的作用是：1. 提高模型的收敛速度 假设某一模型包含两个特征x1,x2x1,x2x_1,x_2，x1x1x_1数值很大，而 x2x2x_2数值很小，两者的取值在平面上呈...
2018-02-15 02:35:34
3309
原创 正则化原理总结
正则化理论（Regularization Theory）是 Tikhonov于1963年提出的一种用以解决逆问题的不适定性的方法。不适定性通常由一组线性代数方程定义，这组方程组由于具有很大的系数而使得它的反问题（已知系统输出求输入）存在多解。正则化理论就是用来对原始问题的最小化经验误差函数（损失函数）加上某种约束，这种约束可以看成是人为引入的某种先验知识(正则化参数等价于对参数引入先验分布)，...
2018-02-11 02:25:28
10234
原创 简析过拟合与欠拟合
欠拟合与过拟合问题是机器学习中的经典问题，尽管相关的讨论和预防方法非常多，但目前在许多任务中仍经常会出现过拟合等问题，还没有找到一个十分通用、有效的解决方法。不过总体上看，现在人们常用的一些很简洁的方法基本上能够较好地解决欠拟合与过拟合问题，总结如下。欠拟合与过拟合的概念的成因比较简单，观点统一，这里不再介绍。现在常用的判断方法是从训练集中随机选一部分作为一个验证集，采用K折交叉验证的方式，用...
2018-02-10 13:59:29
5096
1
原创 参数随机初始化方法：xavier_init()
初始化方法由Bengio等人在2010年的论文《Understanding the difficulty of training deep feedforward neural networks》中提出。它为了保证前向传播和反向传播时每一层的方差一致，根据每层的输入个数和输出个数来决定参数随机初始化的分布范围，是一个通过该层的输入和输出参数个数得到的分布范围内的均匀分布。 公式如下： U[...
2018-02-10 02:09:50
10285
原创 dropout原理与实现
dropout作为一种预防CNN过拟合的正则化方法被Hinton等人在2012年的经典论文《ImageNet Classification with Deep Convolutional》中提出。dropout的原理很简单：在一次训练时的迭代中，对每一层中的神经元（总数为N）以概率P随机剔除，用余下的（1-P）×N个神经元所构成的网络来训练本次迭代中的数据（batchsize个样本）。关于dr...
2018-02-10 01:46:48
17626
1
原创 tensorflow保存网络参数并调用迁移参数
为了节省训练时间和训练所需资源等，我们常常直接利用以前（或别人）训练好的网络模型，加载模型中保存好的各项参数，继续训练或者迁移到其他相似任务中微调参数，或者直接测试使用。参数保存： tensorflow中一般使用Saver类中的tf.train.Saver.save()方法保存网络参数，它会在我们设定的参数文件夹中生成三个二进制文件：checkpoints(ckpt)，它们保存的是所有参数名...
2018-02-08 23:58:06
2932
原创 Tensorflow可视化中间层和卷积层
为了查看网络训练的效果或者便于调参、更改结构等，我们常常将训练网络过程中的loss、accurcy等参数。除此之外，有时我们也想要查看训练好的网络中间层输出和卷积核上面表达了什么内容，这可以帮助我们思考CNN的内在机制、调整网络结构或者把这些可视化内容贴在论文当中辅助说明训练的效果等。中间层和卷积核的可视化有多种方法，整理如下：1.以矩阵（matrix）格式手动输出图像：用简单的LeN
2018-02-06 03:53:52
9909
1
转载 随机数种子与伪随机数生成原理
总之：1.伪随机数并不是假随机数，这里的“伪”是有规律的意思，就是计算机产生的伪随机数既是随机的又是有规律的。2.随机种子来自系统时钟，确切地说，是来自计算机主板上的定时/计数器在内存中的记数值。3.随机数是由随机种子根据一定的计算方法计算出来的数值。所以，只要计算方法一定，随机种子一定，那么产生的随机数就不会变。也就是说，伪随机数也是某种对应映射的产物，只不过这个自变量是系统的时间而
2018-02-04 17:02:36
4752
原创 Keras常用层
Keras基于Tensorflow框架实现，具有更高的集成度，相比tensorflow，其代码简洁易读、更加模块化、易于算法实现。Github的Keras仓库中有许多经典网络和算法的实现源码，同样便于学习。使用Keras前常需要导入一些构成网络结构的基本层模块，这些模块的用法在Keras文档中已明确介绍，这里整理如下：Dense：全连接层from keras.layers impo
2018-02-04 16:56:41
1486
原创 batch、batch_size、epoch、iteration简介
batch_size、epoch、iteration是深度学习中常见的几个超参数：（1）batchsize：每批数据量的大小。DL通常用SGD的优化算法进行训练，也就是一次（1 个iteration）一起训练batchsize个样本，计算它们的平均损失函数值，来更新参数。（2）iteration：1个iteration即迭代一次，也就是用batchsize个样本训练一次。（3）epoc...
2018-02-04 02:42:30
24585
5
转载 微信“跳一跳”辅助教程python实现
本文转载自： http://blog.csdn.net/LittleBeautiful/article/details/78955792 作者： LittleBeautiful 转载一个很靠谱的微信小程序游戏：跳一跳辅助教程，按照步骤来很容易实现自动跳动，想要高分的话最后调参数需要花一点时间。（侵删）以下为原文：本文首发于http://www.52
2018-02-04 01:59:49
4242
1
原创 Linux命令行编译执行C/C++文件
gcc是常用的Linux系统下的编译工具，针对C/C++ 程序，首先将C文件链接为目标代码x-object，即.o文件，然后编译成可执行文件x-executable。针对编写好的C/C++文件：test.c, 具体示例如下：$gcc -o test test.c编译后，在当前路径下生成一个可执行文件test, 然后输入：$./hello此时可以看到test.c的程序输出结果
2018-02-04 01:40:57
7132
原创 三阶魔方复原
分享一个很棒的魔方教程链接：http://www.mf100.org/beginner.htm网上有关三阶魔方的教程有好多，多数方法步骤基本都是一样的，但是图解清晰、说明详细、流程严谨的感觉不是很多。按照上面链接中的教程，从第一步到第八步，仔细按照教程严格完成每一步，很快就可以学会复原方法。当时我在第二步时没有按照教程的方法去做，看得也不是很仔细，觉得很快完成了第二步和第三步，但是
2018-02-04 01:25:25
1532
原创 tf.one_hot()函数简介
tf.one_hot()函数是将input转化为one-hot类型数据输出，相当于将多个数值联合放在一起作为多个相同类型的向量，可用于表示各自的概率分布，通常用于分类任务中作为最后的FC层的输出，有时翻译成“独热”编码。tensorflow的help中相关说明如下：one_hot(indices, depth, on_value=None, off_value=None, axis=Non...
2018-02-04 01:07:02
83638
10
人脸识别论文汇总.zip
2020-02-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人