2016年04月_qiusuoxiaozi

12月 11月 09月 07月 06月 05月 04月 03月 02月

原创特征选择与特征学习

关于特征选择和特征学习的博客，可以结合Ng的特征选择那一讲一起看。对于特征工程的更加深刻理解可以看这个网页，讲得很好。

2016-04-28 23:25:43 609

原创 Convolutional Neural Network (to be continued)

毕设决定做CNN，东西确实挺繁的，今天刚把CNN中具体的反向传播算法搞明白，感觉收获也有一些：1，起先总是认为所谓的CNN，局部感受野，权值共享什么的都是预先训练好的，主要是因为自己刚看完Ng的UFLDL，其中出现用Feature extraction using convolution and pooling这些。。后来想到其实这只是一个例子而已，可能还算不上广义的CNN（可能蕴含了CNN的思想吧

2016-04-26 19:12:30 516

原创 Restricted Boltzmann Machine(to be continued)

1，受限玻尔兹曼机，思想似乎是源自于热力学，因为有一个玻尔兹曼分布律的东西，具体还没学习，不过可见机器学习中不同学科的思想融合，往往是idea/innovation 的发源地。2，想迅速入门，受知乎指引看了Hugo Larochelle在YouTube上的神经网络课第五章的Restricted Boltzmann machine. 在[5.2]中讲到了P(h|x)的条件概率的推导，感觉不错，截图如下

2016-04-24 16:19:15 3212

原创安装Python的Numpy和SciPy库

SciPy 安了一晚上，尝试了好几个方法，下了几个文件，屡屡报错；最后发现还是这个网站上下载的靠谱，下载完后，改后缀名为.exe，双击就ok了，真是相见恨晚那！Numpy 是去年装好的，方法和上面一样，下载链接点击这里

2016-04-24 00:01:52 969

原创【Notes on Neural Networks and Deep Learning】(to be continued)

写在前面为做毕设，在看Neural Networks and Deep Learning “一本免费的在线书籍，爱好者福音。”应该是一本比较通俗的书，因为看到了一些从逻辑门角度由感知器过渡到常见神经网络（sigmoid neuron）的内容，感觉有些深度，所以打算看看；该书专注于回答”为什么“，能使读者获得更多有关神经网络和深度学习的intuition，既可当做UFLDL的补充，也可作为以后阅读D

2016-04-17 23:57:45 459

原创【UFLDL-notes of attached materials（to be continued）】

Data Preprocessing：对基于正交化ICA的模型来说，保证输入数据尽可能地白化（即协方差矩阵为单位矩阵）非常重要。这是因为：这类模型需要对学习到的特征做正交化，以解除不同维度之间的相关性（详细内容请参考 ICA 一节）。因此在这种情况下，epsilon 要足够小（比如 epsilon = 1e − 6）。？？对于大图像，采用基于 PCA/ZCA 的白化方法是不切实际的，因为

2016-04-15 14:54:49 574

原创【UFLDL-exercise9-Convolution and Pooling】

做完了CNN的练习，思想是：在面对比较大的图像时（64*64），如果直接列向量化，维数太高，sparse autoencoder的计算过繁；因此采用的策略是：先从训练集中随机地下采样（8*8）的patch，然后学习8*8图像的W矩阵（隐层有400个单元，总的feature矩阵W是400*64的，但是这里视作有400个w矩阵，也就是每个隐层的unit对应一个8*8的矩阵，这样子做是为了便于后面的卷积计

2016-04-13 20:00:31 543

原创【UFLDL-exercise8 Linear Decoder】

In this exercise, you will implement a linear decoder (a sparse autoencoder whose output layer uses a linear activation function). You will then apply it to learn features on color images from the ST

2016-04-12 23:32:46 444

原创【UFLDL-exercise7-stacked autoencoder for digit classification】

刚刚完成UFLDL练习7: 程序整体运行30多分钟 Before Finetuning Test Accuracy: 89.610% After Finetuning Test Accuracy: 98.100% 我简直快高兴得疯了！！代码在此出于节约时间的考虑，两个autoencoder训练的最大迭代次数都只设置了100次（原先是400次），结果看起来还可以 :-)some unrela

2016-04-11 20:03:53 562

原创【UFLDL-exercise6- Self-Taught Learning】

刚刚完成Self-Taught Learning。There are two common unsupervised feature learning settings, depending on what type of unlabeled data you have. The more general and powerful setting is the self-taught learni

2016-04-09 23:51:42 314

原创【UFLDL-exercise5-Softmax Regression】

刚刚完成了UFLDL exercise5 Softmax Regression，因为比较easy ,一次就成功了，呵呵~代码在此PS: Tutorial 中突然插了这么一个Softmax Regression，据说后面的教程中用得着，Anderw大神的葫芦里到底卖的什么药，让我们拭目以待吧！

2016-04-09 17:41:09 315

原创【UFLDL-exercise3&4-PCA and Whitening】

刚刚做完UFLDL 第三部分 PCA and Whitening 下面的两个exercises。这两个都比较简单，按着教程一步步来就行，进一步锻炼了编程，并且对数据的PCA/ZCA，Whitening（一般会加regularization item）有了进一步的认识。代码在此

2016-04-09 13:56:11 577

原创【UFLDL-exercise2-Vectorization&Learn features for handwritten digits】

矢量化编程，第一个练习已经实现了，在此不提。Learn features for handwritten digits 相比exercise就是把数据集换了。我的困惑是，单单把数据集替换后，跑出来的结果并不是参考答案那样的pen strokes的样子。而自己把sampleIMAGES()中的normalize函数注释掉后，结果就很理想了。不过还是没搞明白归一化的影响？整个代码在此

2016-04-09 00:39:33 310

原创【UFLDL-exercise1-Sparse Autoencoder】

下午五点，成功实现了UFLDL中的稀疏自编码器，感觉一个字——爽！哈哈哈。。。看来自己还是有一点coding ability的，而且这次实验，对于自己认识与学习coding和增进信心能起到帮助。先前代码写完了，但是最后出来的结果很不理想（不是所谓的edge detetor），自己也意识到有一点不对劲，因为gradient check那一部分，解析解和数值解相差的数量级有点大（10^-5,而非提示的1

2016-04-08 17:37:25 498

原创基于数学形态学的图像处理

感觉关于这个资料似乎不多，不明觉厉的MM（Mathematical Morphology，数学形态学）。 http://wenku.baidu.com/link?url=gTpMhuwEzuWLFjtWQpJx4MdHG96J16kQseGBqqfgOrWilL1vJWTt2k2Q7dwEnkIw559hTaHUqyRePzxiG-zvlpxAbKv0Q_9Z2elso0IFrV_

2016-04-06 21:24:03 2111

原创计算机视觉 Introduction

为什么CV这么难，看完下面这个就知道了，因为人的眼睛不只是单纯用来看东西的。。有时候它会“编一些故事”，可能会是欺骗性的。 http://daily.zhihu.com/story/3920426

2016-04-02 19:54:06 381

原创 UFLDL Tutorial 笔记

关于反向传播误差的推导，可以参考下面这个博客，讲得更清楚。其实一句话就可以讲清楚：多层复合函数的求导，足矣！ http://blog.sina.com.cn/s/blog_88d97475010164yn.html

2016-04-02 18:43:31 488

原创双边滤波与导向滤波&何恺明去雾算法

http://blog.csdn.net/pi9nc/article/details/26592377

2016-04-02 09:49:38 10081

PRML 模式识别与机器学习（英文）

PRML 模式识别与机器学习

2017-08-01

Python numpy

直接下载双击即可安装numpy，免去考虑compile的麻烦。关于scipy的安装（也比较麻烦）也有类似的软件，具体请见我的blog

2016-04-24

提高matlab代码速度的Tips

To speed up your matlab code, which is downloaded from UFLDL website

2016-04-14

UFLDL exercise9 Convolution and Pooling

In this exercise you will use the features you learned on 8x8 patches sampled from images from the STL-10 dataset in the earlier exercise on linear decoders for classifying images from a reduced STL-10 dataset applying convolution and pooling. The reduced STL-10 dataset comprises 64x64 images from 4 classes (airplane, car, cat, dog).

2016-04-13

UFLDL exercise8 Linear Decoder

In this exercise, you will implement a linear decoder (a sparse autoencoder whose output layer uses a linear activation function). You will then apply it to learn features on color images from the STL-10 dataset. These features will be used in an later exercise on convolution and pooling for classifying STL-10 images.

2016-04-12

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

qiusuoxiaozi的博客