- 博客(10)
- 收藏
- 关注
RSS订阅原创 卷积神经网络优化方向
1，去除更多的先验，让卷积网络可以更加自主地优化更大比例的参数，例如：可变形卷积2，增加更多的先验，让卷积网络可以有更好的单位参数可辨识能力，例如：SE-net...
2019-05-07 17:46:20
1183
原创 深度学习概述：当你没有方向时的加油站
机器学习：一个老生常谈的问题，在深度学习的出现下，机器学习开启了一个新的时代，人工智能好像也离我们越来越近，大致梳理一下深度学习的内容，初学可以做知识网络去学习，学会者可以用来查漏补缺。深度学习是计算深度大于二的运算结构，计算深度在这里可以理解为 f（ax+b）其中f是一个非线性函数。深度学习因为分类要素不同可以分成不同的集合，从学习的内容上来分可以分为：贝叶斯网络：例如各类分类网络，sof...
2019-01-22 17:14:42
214
原创 人工智能需要“睡觉”吗？
人都是需要睡觉的，有些人甚至会做梦，这些在人工智能中有可能会存在吗？如果存在其意义又是什么？很多人看到这样的问题，肯定会说不会，机器又不需要休息，但是恰恰相反，人工智能也需要休息。谈及这个方面就要提到机器学习中的正相（positive phase）和负相（negative phase）我们一般进行学习的都是正相，负相一般很少考虑，其在机器学习中的定义为配分函数，用途是归一化数据分布。在需...
2018-11-08 16:37:07
586
原创 数据挖掘的知识点总结
数据挖掘的步骤：需求->数据抓取->特征选择->模型选择->验证->应用虽然步骤是灵活的，但是笔面试还是以这样的过程为基准的分析步骤：首先要做技术评估1， 数据抽取统计分析：对于数据特征有一个初步的把握2， 数据清洗3， 数据变换4， 归并和分类5， 属性选择6， 模型构建：如果采用低有效的算法，可以采用集成学习的方法来进行学习，得到一个评分的排名结果...
2018-10-30 17:54:41
436
原创 tensorflow小练手案例 RNN lstm 拟合 周期函数 sin
附上一个简单lstm结构的网络，麻雀虽小但是五脏俱全，其中包含了很多优化方法：拟合sin函数import tensorflow as tfimport numpy as npsteps = 32batch_size = 32train_size = 7000LSTM_KEEP_PROB = 0.9NUM_LAYERS = 2HIDDEN_SIZE = 64train_step...
2018-10-26 16:03:56
1164
原创 关于《深度学习》书中，第十一章中学习率过低会导致训练误差高位扰动的问题的猜想
关于《深度学习》书中，第十一章中学习率过低会导致训练误差高位扰动的问题的猜想首先，凸问题中不存在，证明在二阶偏导的情况下，即数据中有一个明显的误差下降方向时，不会造成这种情况。这里就得到了两个条件，非凸且学习率过低。过低，低到什么程度，我们大胆猜测是由于低于了数据的扰动误差，即观测误差，或者是不可避免误差，这个误差可能是贝叶斯误差，在这个范围内，非凸函数的不断震荡，使得网络在一个局部区间内同...
2018-10-18 10:45:56
4827
4
原创 神经到底学习到了什么？
神经网络一直以来都被人看做是一个黑盒，我们很想知道它究竟学到了什么，为什么能达到那么好的效果，接下来我们从一个例子入手： 对于一个函数y=2x，我们对其进行学习，很容易达到很好的效果，甚至我们只需要一个输入和一个输出，一个权重。这个时候计算机学到的就是可优化参数w，这个数会非常接近2，这也是我们希望看到的；但是我们一般的结构中还有一个偏置项，当然加入这个数，不会有很大影响，因为其会被学习...
2018-09-17 16:29:38
232
原创 深度学习的碎谈
优化方法在实际生产中，很多时候遇到的问题都是深度学习算法的优化问题，模型效果不好，泛化误差较大，而深度学习本身就有很多黑盒的性质，使得这种优化显得有点无头苍蝇式乱撞，这里简单罗列几种优化方法。常见方法正则化 这是非常常用的一种优化方法，即插入一个误差惩罚项，即给误差加上一个权值的范数（一般选用二范数），但是一范数也有本身的属性，即如果你想完全忽略一些特征（得到一个0权重），那...
2018-09-06 14:30:01
112
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人