理解机器学习算法的一点心得

然后用不同的方法来优化这个问题，得到尽量好的结果，给人的感觉就像是一个黑盒，实际使用中需要不断地调参实验，但倘若你能理解好算法，至少能让这个盒子透明一点，这也是机器学习算法确实需要使用者去理解算法的原因，举个例子:传统算法比如一些高效的数据结构，我只需要知道一些接口就可以使用，不需要进行太多的理解，了解传统算法更多的是理解算法的思想，开阔思路，增强能力；而机器学习算法，你即使知道接口，也至少要调一些参数来达到实际使用的目的。...

2014-05-10 18:08 阅读(1607) 评论(1)

GBDT(Gradient Boosting Decision Tree) 没有实现只有原理

阿弥陀佛，好久没写文章，实在是受不了了，特来填坑，最近实习了(ting)解(shuo)到(le)很多工业界常用的算法，诸如GBDT,CRF,topic model的一些算法等，也看了不少东西，有时间可以详细写一下，而至于实现那真的是没时间没心情再做了，等回学校了再说吧。今天我们要说的就是GBDT(Gradient Boosting Decision Tree)...

2014-05-03 10:23 阅读(3811) 评论(6)

从item-base到svd再到rbm，多种Collaborative Filtering(协同过滤算法)从原理到实现

〇.说明本文的所有代码均可在 DML 找到，欢迎点星星。一.引入推荐系统（主要是CF）是我在参加百度的电影推荐算法比赛的时候才临时学的，虽然没拿什么奖，但是知识却是到手了，一直想写一篇关于推荐系统的文章总结下，这次借着完善DML写一下，权当是总结了。不过真正的推荐系统当然不会这么简单，往往是很多算法交错在一起，本文只是入门水平的总结罢了。（本文所...

2013-12-14 19:49 阅读(5220) 评论(15)

CNN(Convolutional Neural Networks)没有原理只有实现

零.说明：本文的所有代码均可在 DML 找到，欢迎点星星。注.CNN的这份代码非常慢，基本上没有实际使用的可能，所以我只是发出来，代表我还是实践过而已一.引入： CNN这个模型实在是有些年份了，最近随着深度学习的兴起又开始焕发青春了，把imagenet测试的准确度提高了非常多，一个是Alex的工作，然后最近好像Zeiler又有突破性...

2013-12-03 23:03 阅读(3848) 评论(11)

大学杂念集随便写写

大学常思，极少为文，杂念闭胸，不舒不畅。诸君不喜勿喷。 ======================================= 今天天气相当不错，本该是去图书馆坐着晒太阳看书看妹子的好日子，可惜被一个Oracle作业折腾得翻来覆去一下午，几欲抓狂，心想做DBA的人上辈子一定都是折翼的天使吧。耐着性子做完收工之后，心里莫名的平静，当然这和我决定今天不去跑步也是有一定关系...

2013-11-24 21:07 阅读(1034) 评论(1)

SVM --从“原理”到实现

零. 本文所有代码均能在我 github上的 DML 找到，顺便求点Star 一.引入从一开始接触机器学习，就感觉SVM（支持向量机 Support Vector Machine）就是高端大气上档次的代名词啊，在深度学习出来之前一直都力压ANN一头，是应用得最好的算法了，本文借着实现DML的机会实现一下。二.原理 SVM的文章先不...

2013-11-23 16:42 阅读(3175) 评论(4)

KNN(k-nearest neighbor algorithm)--从原理到实现

零. 本文所有代码实现均可以在 DML 找到，不介意的话请大家在github里给我点个Star 一.引入 K近邻算法作为数据挖掘十大经典算法之一，其算法思想可谓是intuitive，就是从训练集里找离预测点最近的K个样本来预测分类因为算法思想简单，你可以用很多方法实现它，这时效率就是我们需要慎重考虑的事情，最简单的自然是求出测试样本和训练集所有点的距...

2013-11-13 12:31 阅读(1568) 评论(0)

AdaBoost--从原理到实现

一.引入对于Adaboost，可以说是久闻大名，据说在Deep Learning出来之前，SVM和Adaboost是效果最好的两个算法，而Adaboost是提升树(boosting tree)，所谓“提升树”就是把“弱学习算法” 二.原理三.实现...

2013-11-03 14:33 阅读(13470) 评论(21)

决策树--从原理到实现

================================================================================ 算算有相当一段时间没写blog了，主要是这学期作业比较多，而且我也没怎么学新的东西接下来打算实现一个小的toy lib：DML，同时也回顾一下以前学到的东西当然我只能保证代码的真确性，不能保证其效率啊~~~~~~ 之后我会陆续...

2013-10-27 13:07 阅读(3029) 评论(5)

【面向代码】学习 Deep Learning（四） Stacked Auto-Encoders(SAE)

========================================================================================== 最近一直在看Deep Learning，各类博客、论文看得不少但是说实话，这样做有些疏于实现，一来呢自己的电脑也不是很好，二来呢我目前也没能力自己去写一个toolbox 只是跟着Andrew Ng的...

2013-08-13 10:21 阅读(6895) 评论(3)

【面向代码】学习 Deep Learning（三）Convolution Neural Network(CNN)

========================================================================================== 最近一直在看Deep Learning，各类博客、论文看得不少但是说实话，这样做有些疏于实现，一来呢自己的电脑也不是很好，二来呢我目前也没能力自己去写一个toolbox 只是跟着Andrew Ng的...

2013-07-26 15:01 阅读(15242) 评论(35)

【面向代码】学习 Deep Learning（二）Deep Belief Nets(DBNs)

========================================================================================== 最近一直在看Deep Learning，各类博客、论文看得不少但是说实话，这样做有些疏于实现，一来呢自己的电脑也不是很好，二来呢我目前也没能力自己去写一个toolbox 只是跟着Andrew Ng的...

2013-07-24 11:50 阅读(13625) 评论(56)

【面向代码】学习 Deep Learning（一）Neural Network

========================================================================================== 最近一直在看Deep Learning，各类博客、论文看得不少但是说实话，这样做有些疏于实现，一来呢自己的电脑也不是很好，二来呢我目前也没能力自己去写一个toolbox 只是跟着Andrew Ng的UFLDL...

2013-07-23 16:24 阅读(17482) 评论(75)

趣写算法系列之--匈牙利算法

【书本上的算法往往讲得非常复杂，我和我的朋友计划用一些简单通俗的例子来描述算法的流程，这只是刚开始的样稿，其实我们也才刚开始】匈牙利算法是由匈牙利数学家Edmonds于1965年提出，因而得名。匈牙利算法是基于Hall定理中充分性证明的思想，它是部图匹配最常见的算法，该算法的核心就是寻找增广路径，它是一种用增广路径求二分图最大匹配的算法。 -------等等，看得头大？那么请看下...

2013-07-18 13:39 阅读(5917) 评论(29)

OpenCV 的人脸detect及PCA匹配

好久没写东西了，一来考试周，二来一直在看deep learning的东西，整理好了一个presentation的ppt，但不是很适合发博客上，学校安排无聊的实习，就把说了很久要看的OpenCV拿出来搞搞人脸识别在OpenCV里面比较简单（我没想到这么简单……）直接调用cvHaarDetectObjects()即可，虽然也不是很好，比如偏头呀，用手遮之后detect的效果就很差强人意了，但我也没...

2013-07-18 10:38 阅读(2841) 评论(7)

DarkScope从这里开始

a learner,like Machine Learning.

理解机器学习算法的一点心得

GBDT(Gradient Boosting Decision Tree) 没有实现只有原理

从item-base到svd再到rbm，多种Collaborative Filtering(协同过滤算法)从原理到实现

CNN(Convolutional Neural Networks)没有原理只有实现

大学杂念集随便写写

SVM --从“原理”到实现

KNN(k-nearest neighbor algorithm)--从原理到实现

AdaBoost--从原理到实现

决策树--从原理到实现

【面向代码】学习 Deep Learning（四） Stacked Auto-Encoders(SAE)

【面向代码】学习 Deep Learning（三）Convolution Neural Network(CNN)

【面向代码】学习 Deep Learning（二）Deep Belief Nets(DBNs)

【面向代码】学习 Deep Learning（一）Neural Network

趣写算法系列之--匈牙利算法

OpenCV 的人脸detect及PCA匹配