进度！进度！进度

为了督促最近论文的快速完成，每天必须制定任务，然后完成，第二天贴上，用来监督自己！

2014年11月10日：

1：完成autoencoder的编写，类似优化那个。顺便梯度检测通过，加上稀疏和L2，使用书上的参数，能够优化出来那样的cost，大概在11
2：数据预处理的第三个步骤到底是怎么搞的

2014年11月11日：

1：从visualize higher这篇paper中找到关于小圈的可视化特征的表达说法，因为目前训练得到的结果就是小圈。如果能够再分别实现一个传统的autoencoder，分别对照一下对应特征，那就更好了
2：如果上述得到论证了，那么就要快速把论文的这一部分给完成了，主要想说的是，我这种架构，在第二层就是实现了传统的3层的那种架构

今天超额完成任务了，上面的已经搞完了，一会再附加点工作

2014年11月12日：

1：把有监督的层给做出来，然后可以调试通过。
2：把最大化的这个代码也做出来。再来分析一下
3：把早上看到的关系最大化激活度的描述写道论文中去
4：把matlab自带的NN工具箱，了解下，看看里面能加入稀疏度等这些正则项不

其中除了第四点都做完了，第四点之前考虑的是，自己的超参实现不了那么好的效果，所以考虑下用matlab自带的试试，下午按照paper上说的，严格实现了下，因为涉及到每一步的优化中都要保证x在一个范数范围内，开始没搞明白，后来想清楚了，换了sgd，因为对于lbfgs的话，没办法每一步做一个调整。分别使用了约束1范为1和normalize为0,1之间，找了一个UFLDL中的跑好的参数来跑，发现前者和课本给出的效果基本完全一致，后者效果也还可以，只是有的地方出现了完全黑色的块块，明天尝试后面的隐层的效果，今天收获很大，开心，高兴！

2014年11月13日：

1：目前在跑高阶隐藏层的可视化特征
2：看起来不是那么的好，这个里面肯定是有一个原则的可以让跑的这么好，假设一下没通过某种方式来限制一下，让激活值都在线性区域，也许会好

昨天上午都忘记忙了些什么，下午开了半天会。没怎么搞，加之英语考试逼近，而又考试过不了，郁闷之极啊，高阶的特征已经跑了，没问题和之前的方案，下午跑了个分类，竟然结果出奇的好，害怕是bug造成，今天重新再跑一次，如果没问题，就再把实验结果加上来。上午学习LSTM又找到了一个好的idea，等我把这个paper完成之后，马上开始我的第二篇paper！

2014年11月14日：

1：继续跑一下实验结果，如果实验结果很好的话，我就再把CAE的描述拿出来，也加到我的paper中来，这样就完成了paper实验的一大部分了

结果是实验跑错了，没办法加进来，目前在跑一个关于cost和可视化特征的一个关系，主要目的还是为了找到更好的超参。。真JB麻烦啊

2014年11月17日：

1：用SGD快速筛选参数，找到大概范围然后用LBFGS跑结果

昨天不知道啥原因，自从把数据进行了ZCA之后，收敛都正常了，效果还不错。我跑了500组参数，但是发现，不知道是中间变量的原因还是怎么回事，导致生成的特征都很好，但是单独拿出来，又没有那么好，我怀疑是我把中间结果保存在了文本中，然后第二个程序读取文本的时候发现的错误，可能是IO原因。

2014年11月18日：

1：重新把代码搞一下，初步怀疑是上一个步骤的weight保存到文本，在下一个程序读取的时候发生的，因为上一个可能还没写入，下一个就读取了
2：完成之后，把学习率考虑使用adagrad搞一下

第一个的确搞错了，重新来了一下，adagrad不得行还是，还不如固定学习率来的好，TMD

初步发现了几个超参之间的关系：一定要保证weight小，这样不会让输出值都在饱和的地方，但是这个地方就要保证稀疏的约束是有效的才可以。

打算明天，重写代码，整理一下，目前看来对数据进行ZCA之后，虽然有利于收敛了，但是不知道为什么softmax的预测率反而下降下来了，估计ZCA还是把标签上的一些特征给搞掉了。并且发现无监督的时候使用ZCA还是不错，但是有监督的时候，使用原始数据反而更好。整理一部分代码，每个优化分别对应2个部分的，分别是SGD和LBFGS，这样可以无缝对接，筛选参数最好是按照无监督+有监督来做，这样才知道到底哪组参数好。还有就是换下激活函数吧。。

2014年11月19日：

1：代码重新整理，每个部分都有2套，分别是SGD和LBFGS，SGD用来筛选参数，LBFGS跑最终的结果。

混混秘密的又挑了一天的参数，没啥效果，反复在SGD和LBFGS之间转换。浮躁啊

2011年11月20日：

暂时没指定学习任务，看了一下pylearn2，里面带了很多模型，我打算使用人家写好的玩意看看，昨天了解了下，并且看了下那篇对应的论文，对于基本架构了解了。

25,26两天基本忙着赶我的学习计划去了，那几天感冒了，加上感冒，太难受了，还是最后去学校医院打了一针，后来吃了2天药，只是偶尔鼻塞，头终于不疼了，昨晚我老婆都说我，又恢复贱味了。还说我生病的时候，她是最省心的，因为她说啥，我都不给她顶嘴了，哎 女人啊。回归正转，继续我的实验，我不打算用pylearn2了，文档少，只有一些examples，但是又不能涵盖我的需求，尽管pylearn2中的模型用尽了tricks，并且优化方法也是用尽了tricks，我还是不用了，我的主要目的是完成我的实验结果，数据集合不行，只要方法对头，我换数据集合。

2014年11月27日：

1：完成UAE的代码，根据cost曲线，选择相对好的学习率
2：使用drouout测试下效果，只要能基本接近就好了。
3：MNIST数据集做不下去的话，换别的数据集，泡一下它的变形的数据集合。先把BASIC的泡一下

测试过了，dropout效果的确不错，但是还是没能超过paper上的

2014年11月28日：

1：已经初步尝试目前dropout取值在0.4的时候，都比较能接近最好的结果，但是只是接近。
2：重新再测试一下denoise的效果，也在尝试一下cae的效果，如果也不行的话，就把drop的换成用LBFGS来优化

使用LBFGS尝试了，很容易过拟合。。打算把paper上的模型自己都实现了，实现自己的超参的选择，然后结果里面做对比。

2014年12月1日：

1：根据dropout和noise的取值冒泡一个grid search，找到此时最好的结果。
2：跑一下sparse ae的结果，包括paper上介绍的autoencoder都跑一便，拿出来结果做对比

已经跑了一天的1，实验结果还可以，明天跑weight ae以及sparse ae。同时空出来时间，可以继续修改论文，以及在实验的地方加内容

哈哈，解封了，上周我就已经完成了论文，已经交给老板啦。。哈哈