weixin_40012507-CSDN博客

原创 DenseNets论文笔记及读后感

12.19 densenets完结首先是densenet的结构图。传统的神经网络层与层之间一般只有L个输出，而从图中可以看到而我们的这个新的网络有L(L+1)/2个输出。每层的输入都是拿前面所有层的features map作为输入，同样它的features map也作为所有下面层的输入。陆陆续续花了几天时间读完了densenets论文，感受确是颇多，单单只是在分类这一模块中，模型已经进步了许多。

2017-12-20 13:01:46 500

原创 Batch Normalization论文读后感

断断续续花了几天时间读了BN论文，发现BN确实很强大，解决了梯度消失和梯度爆炸，加快了模型的训练速度。BN给的不只是算法，帮助固定输入的分布，还说明了一种想法：网络层是人为规定的，可以把BN，激活函数，加权看成新的一层。所以看成这样新的网络结果就能固定输入分布。也就是从一开始的网络结构开始看起，第一层第二层是固定的，把剩下的所有layers看成是一层，然后在第二层后面接一个BN，相当于BN是后面

2017-11-18 10:43:29 328

原创改变keras模型参数来提高kaggle手写体数字识别

一开始使用的是alexnet模型，最好达到了99.271的成绩。在成绩榜上大概应在20%左右。所以还想继续改进一下模型，一开始想的是使用修改超参数，以及加入随机失活，bn层，应用了数据增强。先说一下超参数的改变：更改过滤器的数量，更改batch_size，应用了学习率退火。更改过滤器的数量改动：应用了自己上一个笔记中讲的模型，更改了第一个第二个的卷积层的过滤器数量。结果：一个epoch的运行时间

2017-11-15 21:47:13 784 1

原创 keras解决kaggle-手写体数字识别

上一篇是用tensorflow完成的，发现tensorflow的代码量比较多。因为tensorflow是比较低层次的库，而keras可以使用tensorflow为后端，实现模型起来代码会较少一点，而且也便于我们增加模型的深度。总的来说，keras更适合于上手。得到的成绩比tensorflow稍高一点首先数据处理与用tensorflow的差不多。#引入所需要的库import numpy as np

2017-11-13 16:41:23 1704 1

线性分类器与损失函数上一节课讲的是有关于图像分类的问题，并介绍可KNN算法，这一节课中讲的是更强大的算法用来解决图像分类问题。线性分类器由两部分组成，一个是评分函数用来表示将图像数据映射到类别分数。比如有猫狗车三类，通过简单的SVM可以得到三类的分数，然后选择较高的一项。还有一部分是损失函数，得到分类标签与真实标签是否一致性的分数，有多种计算方法，损失函数也是非常重要的，可以转化为一个最优化问题。

2017-11-03 20:54:58 414

原创 tensorflow的一些基本函数

tf中流动的叫做张量（tensor），张量在数据流图中从前往后流动一遍就完成了一次前向传播。残差从后往前流动一遍就完成了一次反向传播。 tf.truncated_normal(shape, mean, stddev, dtype, seed, name).这是一个截断的产生正太分布的函数，产生的值如果与均值的差值大于两倍的标准差，那就重新生成。tf图中还有一种特殊的数据，叫

2017-11-03 20:50:41 256

原创用CNN解决手写体数字识别。--tensorflow

第一次解决这个问题是应用了机器学习中的Knn算法，发现排名并不是很高。再阅读了kaggle上其他人的一些笔记，知道了神经网络在图片分类上的优秀。我们可以用卷积层来得到数据图片中的某些特征，然后使用激活函数，再用汇聚层在空间维度上进行降维度操作。如此反复，最后使用全连接层，尺寸变为[1x1x10]，就得到了10个类别的分类值。其中我们还是用了Adam来更新参数，用了随机失活防止过拟合。我使用了Tens

2017-11-02 21:02:53 9164 6

原创机器学习第三章

3.1线性模型我们想要用给定的d个属性的示例x，来学得一个通过属性的线性组合进行预测的函数。f(x)=wT+b。为什么想要得到线性模型呢？线性模型形式简单，易于建模，而且能将一些非线性模型通过层级结构和高维映射得到。而且我们可以通过w看到各个属性的不同重用性。这就有了很好的可解释性。3.2线性回归线性回归想要学得的线性模型使它的预测接近真实标记。如何确定w,b，要使得预测函

2017-11-02 19:34:57 404

原创机器学习第二章。

Q:怎么进行对一个模型的评估，并选择其中的泛化误差较小的一个。首先说明过拟合与欠拟合。过拟合：把训练样本不太一般的特性都学到了。欠拟合：未能学好训练样本的一般特性。由于过拟合现象的存在，训练误差不适合拿来作为标准。所以我们拿包含m个样例的数据集D，将它进行划分，得到一个训练集S和一个测试集T。用T来评估其测试误差，作为对泛化误差的估计。有几种常见的做法//10.11留出法

2017-11-02 19:34:09 231

原创机器学习第一章

Q：什么是机器学习机器学习不同于以往的计算机编程，致力于研究如何通过计算机手段，利用以往的经验来改善系统自身的性能。一般的编程都是明确的告诉电脑该做什么。机器学习希望提供数据给学习算法，让它自己学习，找到其种的规律。在面对新情况的时候就能应用已产生的模型，提供相应的判断。机器学习的本质任务是预测。Q：机器学习中需要掌握的基本概念。样本，示例：每条记录关于一个时间（对象）的描

2017-11-02 19:29:15 247

原创机器学习kaggle入门——手写体数字识别

简单的KNN算法解决手写体数字识别

2017-10-20 17:36:27 2009

weixin_40012507的博客