深度学习
23岁中单想学python
这个作者很懒,什么都没留下…
展开
-
Tensorflow入门笔记
新建计算图 g1 = tf.Graph,可以通过tf.Graph.device函数来指定运行计算的设备。从而为使用GPU提供了机制。 g=tf.Graphwith g.device("/gpu:0"): result =a+b创建会话来得到张量的计算结果,只要把所有的计算放在“with”内部就可以 with tf.Session() as s...转载 2018-03-05 11:10:32 · 153 阅读 · 0 评论 -
深层神经网络
1.传统机器学习算法:输入–人工特征提取–权重学习–预测结果。2.深度学习:输入–基础特征提取(像素)–多层复杂特征提取(线条,轮廓–简单形状–复杂形状)–权重学习–预测结果3.特点:多层非线性 非线性(通过激活函数实现) 多层(解决异或问题,从而有组合特征提取的功能)4.神经网络优化算法:梯度下降算法(在全部训练数据上最小化损失,不一定为全局最优)随机梯度下降(随机优化某一条训练...转载 2018-03-05 11:10:03 · 263 阅读 · 0 评论 -
深度学习基本概念
卷积的含义:一个函数(输入)在另一个函数(加权函数)上的加权叠加,得到的函数为输出随时间变化的函数,可以用来做特征提取batchsize:每批处理的数据数目 eporch:迭代次数 ReLU,Sigmoid,Softmax均为激活函数,比如Softmax输出类标签分布后,与真实类标签分布构成交叉熵(交叉熵反映了相似程度),即softnax交叉熵损失函数。端到端的模型:模型从原始输入到...原创 2018-03-26 11:08:08 · 809 阅读 · 0 评论 -
目标检测与识别
0:机器学习 分类: 1:LeNet-5:6万个参数 2:AlexNet:6000万个参数 创新点:(1)训练处最大规模的CNN,此前LeNet-5仅包含3个卷积层和1个全连接层,它有8个权重层(5个卷积层,3个全连接层) (2)使用众多的skills,如dropout解决过拟合,Relu使得该网络在6000万个参数扔能收敛 3:VGG:没有...原创 2018-03-26 11:19:39 · 645 阅读 · 0 评论 -
特征金字塔网络(Feature Pyramid Networks)
最开始的特征提取:图片有多种形式的分辨率或者大小,最开始的特征提取时分别在不同分辨率或者不同大小的情况下,分别提取特征进行预测接着人们只使用一个单个scale的预测,特征经过最终的提取后,达到最高级后,进行预测再然后人们对各个层的特征均进行预测形成一个自上而下或横向连接的结合(Top-down 是2x的下采样,横向连接时1*1conv)...原创 2018-03-27 15:14:54 · 1158 阅读 · 0 评论 -
卷积神经网络的发展史
LeNet:第一个成功的卷积神经网络应用AlexNet:类似LeNet,但更深更大。使用了层叠的卷积层来抓取特征(通常是一个卷积层马上一个max pooling层)ZF Net:增加了中间卷积层的尺寸,让第一层的stride和filter size更小。GoogLeNet(Inception):减少parameters数量,最后一层用max pooling层代替了全连接层。VGGNet:...原创 2018-03-28 17:05:03 · 1148 阅读 · 1 评论 -
如何防止过拟合?二分类转换到多分类的方法?梯度消失/爆炸
数据增强:让模型看见尽可能多的例外情况。方法:从源头获取更多数据,对图像进行平移,翻转,缩放,亮度变化等使用简单的模型:减少网络的层数,神经元个数,等。提前结束训练。当时间较短时,网络权直较小,激活函数工作在线性区,当训练时间越长,部分权直越大。正则化限制权直:L1,L2增加噪声:在输入中加噪声,噪声会按照权直的平方放大。在权值上加噪声:0均值高斯分布初始化权直。对网络的响应加噪声:输出...转载 2018-04-17 18:12:51 · 1148 阅读 · 0 评论