machine learning
文章平均质量分 72
仙守
1 - 模式识别硕士;
2 - 研究生方向:深度学习,计算机视觉;
3 - 目前工作内容:目标检测,文本识别;
4 - 未来想发展方向:深度学习,机器学习,增强学习;
5 - 目前在用的框架:tensorflow,opencv;
6 - 语言:python(目前在用),cpp(好久没用了),scala(用了半年)
博客园博客(两边内容不完全一致):http://www.cnblogs.com/shouhuxianjian
展开
-
机器学习的系统设计
ng的ml-003中11_XI._Machine_Learning_System_Design原创 2014-09-04 14:03:16 · 767 阅读 · 0 评论 -
opencv7-ml之KNN
准备知识 在文件”opencv\sources\modules\ml\src\precomp.hpp“中 有cvPrepareTrainData的函数原型。intcvPrepareTrainData( const char* /*funcname*/, const CvMat* train_data, int tflag,原创 2015-09-27 18:08:53 · 1183 阅读 · 0 评论 -
如何高效的通过BP算法来训练CNN
《 Neural Networks Tricks of the Trade.2nd》这本书是收录了1998-2012年在NN上面的一些技巧、原理、算法性文章,对于初学者或者是正在学习NN的来说是很受用的。全书一共有30篇论文,本书期望里面的文章随着时间能成为经典,不过正如bengio(超级大神)说的“the wisdom distilled here should be taken as a gu原创 2015-09-10 16:36:07 · 11759 阅读 · 2 评论 -
贝叶斯-笔记(1)
0 - 背景贝叶斯是个好东西(频率学派的不这么看),好多模型都可以从贝叶斯角度来解释,而且贝叶斯决策理论也是作为最优分类,给其他模型做错误上限什么的参照的。对于分类来说,在所有相关概率都已知的情况下,贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。然而贝叶斯又分朴素贝叶斯、半朴素贝叶斯、贝叶斯网等等。 P(X,Y)=P(X|Y)P(Y)(0.1)P(X,Y)=P(X|Y)P(Y)原创 2017-03-25 00:26:00 · 766 阅读 · 0 评论 -
SVM-笔记(1)
1 - 目的。SVM推导是从讨论最优超平面开始的,即为了得到一个能够划分不同超平面的面,即公式1: wTx+b=0(1)\begin{equation}w^Tx+b=0 \tag{1} \end{equation} 这个公式怎么来的,其实就是基于2维推导过来的,当二维图像时,也就是熟悉的x,y坐标系。我们将一条线的函数公式定义为Ax+By+C=原创 2017-03-08 17:09:44 · 909 阅读 · 0 评论 -
决策树-笔记(1)
1 - 背景决策树:是基于树结构的一种机器学习方法。其训练方法决定了它是一种有监督学习方法,且和KNN一样是一种非参数化模型。且当类数较多时,该方法具有一定的优势[1]。最流行的决策树是将空间拆分成超矩形,超矩形的边与轴平行。 ps:参数化模型,有着固定数量的参数,通常在预测阶段速度很快,而缺点就是对数据分布有着先验假设;非参数化模型,其参数会随着训练集的增大而增加,所以相对更加灵活,可是对于大数原创 2017-03-17 13:01:07 · 1090 阅读 · 0 评论 -
高斯分布-笔记(1)
1 -单变量高斯分布单变量高斯分布概率密度函数定义为: p(x)=12πσ−−−√exp{−12(x−μσ)2}(1.1)p(x)=\frac{1}{\sqrt{2\pi\sigma}}exp\{-\frac{1}{2}(\frac{x-\mu}{\sigma})^2\} \tag{1.1} 式中μ\mu为随机变量xx的期望,σ2\sigma^2为xx的方差,σ\sigma称为标准差:原创 2017-03-28 22:08:01 · 4575 阅读 · 0 评论 -
线性降维-笔记(2)
4 - MDS5 - ICA6 - LFA7 - LPP原创 2017-04-23 10:55:42 · 537 阅读 · 0 评论 -
线性降维-笔记(1)
1 - 背景样本在高维情形下会出现数据样本稀疏(因为样本不是均匀分布在每个维度表示的空间中),距离计算困难(欧式距离也不如人想象的那么有效),可视化困难等问题。所以不论是机器学习,还是人类理解角度,高维都是个不喜欢的话题(当然对于低维样本线性不可分而上升到高维线性可分的情形并不是这里指的情况)。因为基于大多人类观测和收集到的样本,学习任务密切相关的也许只是某些低维分布。所以如果适当的降维,原创 2017-04-13 23:18:21 · 5229 阅读 · 0 评论 -
关于MSCOCO_text数据集的探索
最近需要做图片中文本识别的项目,然后为了快速验证模型,所以找到了mscoco-text数据集,网站1上是这么说的: 官网是这么说的: 然而,我下下来之后: 1 - 先导入: 2 - 其中key为’imgToAnns’是图片序号对应的注释序号,却是这样的: 然后,其中具体的图片中文字并不是完全标记出来的,比如某张图片中其实一共至少4处文字,其实就标记了一处,更有甚者有的图原创 2017-06-14 22:00:02 · 1748 阅读 · 5 评论 -
NIPS 全文下载
有些收集癖,所以这次打算把NIPS上历年的论文都下载下来。尝试通过python直接下载,不过发现很慢,所以想到,那就直接先爬取所有的下载链接,分好文件夹,然后在手动对应不同的年份将其复制到迅雷中下载(目前一共开了29期,所以手动工作还好)代码及解释如下:# -*- coding: utf-8 -*-"""Created on Sat Sep 9 19:10:39 2017@author: sh原创 2017-09-24 10:35:06 · 4157 阅读 · 2 评论 -
adaboost-笔记(1)
1 - 加法模型加法模型,就是通过训练集不断的得到不同的分类器(回归),然后将这些分类器组合成一个新的分类器的过程。假设有NN个样本,且我们的加法模型如下: f(x)=∑m=1Mβmb(x;Ym)f(x)=\sum_{m=1}^M\beta_mb(x;\cal Y_m) 其中xx为自变量,即样本;Ym\cal Y_m为第mm个分类器的参数;b(x;Ym)b(x;\cal Y_m)为分类器,也就是原创 2017-04-07 23:51:41 · 870 阅读 · 0 评论 -
tensorflow-杂点
记录使用tensorflow中一些疑惑的小问题。FAQS:1 - 使用match_filenames_once时候用tf.global_variables_initializer初始化报错 使用tf.local_variables_initializer()初始化(原因待后续)import tensorflow as tffiles = tf.train.match_filenames_原创 2017-09-10 10:19:29 · 572 阅读 · 0 评论 -
KNN-笔记(2)
1 - kd TreeKD树是一种对K维空间中的实例点进行存储以便对其进行快速检索的树形数据结构。KD树其实就是二叉树,表现为对K维空间的一个划分,构造kd树相当于不断的用垂直于坐标轴的超平面将k维空间切分,构成一系列的k维超矩形区域,即kd树就是二叉树在高维上的扩展。kd树的每个节点最后对应于一个k维超矩形区域。kd树搜索的平均计算复杂度是O(logN)O(logN)。假如维度是k, 而样本点一共原创 2017-09-02 19:39:00 · 454 阅读 · 0 评论 -
KNN-笔记(1)
knn原创 2017-09-02 19:46:36 · 674 阅读 · 0 评论 -
opencv7-ml之svm(3)应用
因为《opencv_tutorial》这部分只有两个例子,就先暂时介绍两个例子好了原创 2015-01-14 22:29:08 · 1204 阅读 · 0 评论 -
如何应用ML的建议-上
本博资料来自andrew ng的13年的ML视频中原创 2014-09-02 21:15:04 · 990 阅读 · 0 评论 -
如何应用ML的建议-下
部分(五)从图中可以看出,正则化项可以用来影响模型函数对数据是否过拟合,正则化项的本意是防止过拟合的,但是对于前面的lamuda的正确的选取却很重要,对于第一个坐标系来说,因为lamuda太大,导致正则化项很小,即在训练后会使得theta(1)~theta(n)都趋向于0,而只有一个参数theta(0),使得决策线(此处举例的是线,而非面)成为了一个常量函数,严重欠拟合;而对于lamuda原创 2014-09-02 21:48:00 · 738 阅读 · 0 评论 -
推荐系统
来自ng ml-003 的16_XVI._Recommender_Systems 还有17 和18 ng的ml-003就能够看完了。原创 2014-10-21 20:49:49 · 633 阅读 · 0 评论 -
大型机器学习
来自ng的ml-003 17_XVII._Large_Scale_Machine_Learning这里的大型机器学习是将算法应用到大数据集上,回顾前10年或者前5年,机器学习有了较好的发展是yi原创 2014-10-22 16:35:00 · 728 阅读 · 0 评论 -
Notes on Convolutional Neural Networks
这是Jake Bouvrie在2006年写的关于CNN的训练原理,虽然文献老了点,不过对理解经典CNN的训练过程还是很有帮助的。该作者是剑桥的研究认知科学的。翻译如有不对之处,还望gNotes on Convolutional Neural Networks翻译 2014-11-07 10:00:33 · 4834 阅读 · 5 评论 -
BP浅谈
之前一直对BP的理解不透彻,这可不行,这个可是超经典de原创 2014-09-05 11:15:10 · 1176 阅读 · 0 评论 -
例子:照片的OCR识别
来自ng的ml-003中 18_XVIII._Application_Example-_Photo_OCR这是ng2013年在coursea原创 2014-10-23 09:43:32 · 1346 阅读 · 0 评论 -
sparse linear regression with beta process priors
sparse linear regression with beta process priorsBo Chen,John Paisley and Lawrence翻译 2014-11-11 14:22:40 · 934 阅读 · 0 评论 -
稀疏过滤
稀疏过滤 摘要:翻译 2014-10-27 11:07:05 · 1558 阅读 · 3 评论 -
SVM的简单介绍
ng的MI-003中12 ——SVM原创 2014-10-15 09:01:57 · 1386 阅读 · 0 评论 -
维度约间
ng-ml-003 中的14_XIV._Dimensionality_Reduction一、数据压缩原创 2014-10-19 20:40:25 · 755 阅读 · 0 评论 -
聚类
依旧来自于ng的ml-003中的clustering部分课程原创 2014-10-19 11:50:50 · 797 阅读 · 0 评论 -
异常检测
来自ng 的ml-003 15_XV._Anomaly_Detection异常检测是无监督训练原创 2014-10-21 20:48:08 · 1035 阅读 · 0 评论 -
简单的介绍人工智能的机器学习
来自http://www.iro.umontreal.ca/~pift6266/H10/notes/mlintro.html (估计有点老了,不过文字不多,看一眼也无妨) Very Brief Introduction to Machine Learning for AI对应的ppt地址:http://www.iro.umontreal.ca/~pift6266/H10/intro_原创 2015-06-04 11:03:55 · 1372 阅读 · 0 评论 -
《机器学习系统设计》(2)
来自书籍《Building Machine Learning Systems with Python 》 前两章觉得还是挺简单的,干货没有。下面来第三章,这一章主要是介绍文本处理方面,而且没有涉及到最新的word2vector方法等等(DL在NLP上的应用),本章节还是介绍词袋啊什么的,DL在NLP上最近的表现还是比传统的好很多的,比如谷歌方面,比如微软方面,还有中科院在中文上的努力。原创 2015-07-25 16:21:06 · 1412 阅读 · 0 评论 -
支持向量机通俗导论(理解SVM的三层境界)【非原创】
支持向量机通俗导论(理解SVM的三层境界)作者:July ;致谢:pluskid、白石、JerryLead。出处:结构之法算法之道blog。前言 动笔写这个支持向量机(support vector machine)是费了不少劲和困难的,原因很简单,一者这个东西本身就并不好懂,要深入学习和研究下去需花费不少时间和精力,二者这个东西也不好讲转载 2015-06-16 09:47:55 · 1193 阅读 · 0 评论 -
《机器学习系统设计》(1)
来自书籍《Building Machine Learning Systems with Python 》 本书主要在于如何实际的教用户来学习ml,其中简单的介绍了ml的原理,重点还是放在使用python和numpy、scipy、scikit-learn等包的使用上。通过简单的实例来讲解,还算是有趣。正如豆瓣上说的:机器学习理论的经典教材很多,但讲经典的理论如何实现的好书就不那原创 2015-07-24 17:30:41 · 2429 阅读 · 0 评论 -
logistic回归和最大熵
回顾发现,李航的《统计学习方法》有些章节还没看完,为了记录,特意再水一文。0 - logistic分布如《统计学习方法》书上,设X是连续随机变量,X服从logistic分布是指X具有以下分布函数和密度函数: F(x)=P(X≤x)=11+e−(x−μ)/γF(x) = P(X \leq x)=\frac{1}{1+e^{-(x-\mu)/\gamma}} f(x)=F′(x)=e−(x−μ)/γ原创 2017-09-11 23:16:26 · 803 阅读 · 0 评论