- 博客(58)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 sklearn.feature_extraction.text文本特征实验
sklearn.feature_extraction.text提供了4种文本特征提取方法：CountVectorizer HashingVectorizer TfidfTransformer TfidfVectorizer 因为TfidfVectorizer等价于CountVectorizer->TfidfTransformer，所以实质上就是两种特征，一种是HashingVector，另
2016-08-09 00:00:42
7242
1
原创 opencv颜色过滤--------如何选择需要的颜色呢？
在日常生活中我们表示颜色的时候都喜欢用RGB模型进行表示，RGB分别代表了三原色：红色Red， 绿色Green，蓝色Blue。但是当我们想要从图片中选取某种颜色的时候，比如说红色，用RGB该怎么做？很难啊。所以当涉及到颜色的时候我们通常都会将图片转化到hsv空间进行表示。这个模型中颜色的参数分别是：色调（H），饱和度（S），明度（V）。那么该如何选择我们需要的颜色呢？比如说红色，是否就只需要选择一个
2016-06-06 15:21:26
38981
8
原创 window使用内存泄漏检测工具Leakdiag记录
Leakdiag安装windows下内存泄漏查找工具Leakdiag使用起来还是蛮方便的。 Leakdiag下载之后按照默认设置安装，否则好像是会出问题的。 默认安装是直接装在C盘下。那它是如何来检测内存泄漏的呢？ 下图所示是Leakdiag目录，Logs文件夹里边存储的就是记录的日志，我们则是通过启动leakdiag应用程序进行检测。 第一次试验首先测试一下常见的new和malloc作为练
2016-06-05 13:50:04
16934
原创 caffe使用记录
版本说明： caffe为windows版本，vs对应的是2012版本，我是用生成exe+windows批处理的方式来使用caffe的。 已经配置好的caffe可见http://pan.baidu.com/s/1gf0iTKB 使用的并不是最新版的caffe，不过在windows下算是很新的啦。数据生成首先生成训练和测试目录，我是以人脸的CMU数据库为例进行说明。下面的名字可以根据自己需要进行修
2016-06-02 20:44:50
3922
原创 轮廓查找问题小记
opencv中使用Mat进行轮廓查找的函数如下： void findContours(InputOutputArray image, OutputArrayOfArrays contours, int mode, int method, Point offset=Point()) opencv文档地址 这个函数看起来挺简单的，我们输入一张图像，它就给我们返回相应的轮廓，但是一张图像经过不同处理
2016-04-28 15:24:48
2852
原创 scikit安装
首先把Python的环境变量加到Path上，也就是Python的安装目录！接着是安装easy_install，参照如下方式安装：http://jingyan.baidu.com/article/b907e627e78fe146e7891c25.htmleasy_install安装好之后，似乎是可以用easy_install numpy来安装库了，可是出错了卡在这一步了诶，所以我
2016-02-20 23:11:20
906
原创 压缩感知KL1p库CompressedSensingExample例子解读
KL1P库是个可以求稀疏表示的库，比如说要求y=w∗xy=w*x,用x来表示y，求系数w， 一般来说思路是最小化||y−wx||||y-wx||，这个用梯度下降之类的方法就可以求解。 但是如果希望w是稀疏的，比如w是100维，其中只有10维是不为0，其余90维都及其接近于0，那我们就需要添加稀疏性条件，autoencoder和sparse autoencoder便是类似的关系。 KL1P库地
2015-11-09 11:10:17
1845
原创 我遇到的kinect for windows2 USB不识别情况
硬件需求可见https://dev.windows.com/en-us/kinect/hardware-setup我的电脑是Intel的USB3.0，在设备管理器可以看到的：当我下好SDK，安装完毕，然后把kinect插入电脑之后，提示我无法识别的USB设备。我来说下我犯的错误吧：USB3.0是个蓝色的USB插口，而USB插口是不只机箱前面的这两个的！！！正确的插入部位是插
2015-11-04 19:52:52
10125
原创 opencv由Mat相乘想到的几个问题
最近在做一个实验，需要对X∗XTX*X^T求取特征值，所以需要进行矩阵相乘操作。 我的Mat是以灰度方式读取图片得来。 数据获取的代码如下： vector<Mat> images; vector<int> labels; string imgPath; for (int i = 1; i <= 15; i++) for (int j = 1; j <=
2015-11-03 16:21:20
3232
1
原创 ufldl.PCA-2D实现
Step 0: Load data用文本方式打开pcaData.txt，看到的就是两行数据，每行有45个值。 不加’-ascii’,直接写出x=load(‘pcaData.txt’)也是ok 的！ figure(1)表明建立第一幅图像，在需要显示很多图像的时候就需要用到这一句了。 scatter则是画图函数，这里的x轴数据为x的第一行数据x(1,:),y轴数据为x的第二行数据x(2,:)。
2015-10-31 15:22:38
554
原创 vs错误：使用 简体中文GB2312 编码加载文件时，有些字节已用unicode替换字符替换
这个问题出现的上下文我描述一下：因为有一些重复性的工作，所以我把代码复制到了记事本里边，然后使用记事本里边的替换功能，接着把记事本里的代码复制粘贴回了visual studio里边。（我真是傻缺，居然不会用visual studio里边的替换功能）这样就导致了编码的问题，调试的时候就会出现错误。修改其实很简单的，首先要定位到是哪一句代码出的问题。出错的地方会有青色的箭头
2015-10-22 17:03:47
14635
3
原创 _pFirstBlock == pHead错误
先说明下应用的上下文环境：vs2012 c++我有个工程需要用到SRC(Sparse Representation Classification),所以使用了KL1P库。因为要做图像处理，所以使用了opencv库，我用opencv的Hog特征提取出了上面问题。关于这个问题，1.库目录设置错误stackoverflow里边给出了个1个解答，是库目录设置错了，因为vs2012需
2015-10-20 16:15:50
6582
6
原创 opencv中Mat的使用与存取
特征存取是机器学习过程中的一步，因为数据量很大的话，如果直接对数据提取特征然后进行训练需要花很多时间，如果中途出了点问题那运行这么久就白做了。所以把提取的特征进行保存就是很重要的一个步骤啦。我打算使用opencv的Mat进行数据的保存，那么Mat如何构造，如何保存，如何读取呢？Mat的构造如下是创建一个Mat的方式，Size里边先填列数，再填行数！！这点和一般习惯有些不同，要记住哦
2015-10-20 16:14:36
12624
2
原创 softMax(2)---predict实现
softMax的cost写好之后，模型也就可以正式开始进行训练了。 首先要把softMaxExercise里边的Debug赋值为false，可以看到，梯度检验这一步在正式训练过程中是完全不需要做的。softMax模型softMax的模型是什么样的呢？ 假设一共有k个类，那么对于样本x(i)x^{(i)}，预测它属于第j类的概率如下 p(y=j|x(i))=eθTj∗x(i)∑kl=1θTl∗x
2015-10-18 11:29:27
1221
原创 softmaxCost实现
本次练习是按照ufldl SoftMax进行实现的。 关于代价函数的由来可以看看《统计学习方法》里边的logistic回归那一章，因为logistic模型是概率模型，所以会使用似然函数，优化也就是最大化似然函数，代价便是-log似然函数，最后的目标也就是最小化代价函数了。 不过由代价函数到它的导数这一部分的推导我开始没想明白，所以下面对此做个记录，看看到底是如何求导的。推导 J(θ)=−1m[
2015-10-16 21:25:09
1123
1
原创 机器学习岗位找工作记录帖-百度，大众点评offer到手
一件很不好的事情我收到百度offer之后，有个同学来问了些问题，接着就开始人身攻击，说我这么水，百度招我就该完蛋了。 找工作确实很累，不断被拒，没有offer的郁闷心情我能体会。我也经历过实习一直被拒的悲惨经历，之后我痛定思痛，认真确定自己的方向，阅读mahout源码开阔自己的思维，推导各种机器学习算法，并且仔细回顾整个研究生阶段做的事情，认真修改简历，我也是认真努力之后才拿到offer的。
2015-10-01 10:46:43
9657
5
原创 hiho一下第六十五周HighWay--也属于动态规划吧
HighWay这一题描述如下：给定一条高速公路，在时间点为0时公路上停了N辆车，每辆车起始位置都不同，首先输入一个整数N，2 接着输入N行，每一行格式为3个整数：X, Y and L，分别是一辆车的起始位置，离开位置以及速度。 0 因为高速公路只有一条车道，所以规定行驶在后面的车子不能超过行驶在它前面的车。链接：http://hihocoder.com/contes
2015-09-30 21:30:50
552
原创 阿里云服务器windows版本的使用以及安全策略的添加
远程桌面的安全策略刚开始使用阿里云服务器没几天，就有黑客不断跑进来，分析了一下不可能是因为服务器网页的漏洞，因为黑客接触不到我们的app，所以肯定就是远程桌面的问题了。
2015-09-26 10:45:03
4409
原创 hadoop编程----寻找社交网络图中的三角关系
实验背景图的三角形计数问题是一个基本的图计算问题，是很多复杂网络分析（比如社交网络分析）的基础。目前图的三角形计数问题已经成为了Spark 系统中GraphX 图计算库所提供的一个算法级API。本次实验任务就是要在Hadoop 系统上实现Twitter 社交网络图的三角形计数任务。有向图转化为无向图如下图所示，社交网络中的关注关系一般为有向图，这里需要转化为无向图。转化思路为：如果IF (A->B)
2015-09-20 20:21:17
4152
原创 shell--文件操作1
1.遍历目录，查找其中所有文件，并统计每个文件的行数定义一个函数detect，这是为了可以递归往子目录中操作接着一个循环遍历`ls $1`的结果，$1是第一个输入参数，也即查找路径在循环中，首先判断文件是否是目录文件，如果是，则递归进入里边，否则用wc命令得到文件中行的数目，并用cut命令得到wc结果中的行数，最后把结果保存到/home/user/shell/reslt.txt里边
2015-09-08 20:43:04
1003
原创 mahout的并行随机森林是怎样创建的
我挺好奇mahout是怎样分布式建立一个随机森林的，所以特意看看它的BuildForest源码，看看里边的mapreduce是怎样实现的。还有个问题也挺让我好奇的，就是随机森林是怎么保存的呢？我看的是0.9版本的mahout。
2015-09-02 21:26:48
2332
原创 Mahout的BreimanExample例子分析
Mahout的BreimanExample例子执行了 Leo Breiman: Random Forests. Machine Learning 45(1): 5-32 (2001)这篇论文的测试。 对它的分析我分为3个部分 - 森林生成的Iteration部分 - BreimanExample的测试执行部分 - 命令行执行部分Iteration部分迭代函数如下，对于训练数据集
2015-08-29 16:23:12
1383
原创 Mahout推荐系统引擎RecommenderEvaluator源码解析
在http://blog.csdn.net/jianjian1992/article/details/47304337里边有关于推荐系统的完整代码，其中有一个评价器RecommenderEvaluatorRecommenderEvaluator evalutor = new AverageAbsoluteDifferenceRecommenderEvaluator();System.out.
2015-08-11 20:30:32
2097
原创 Mahout推荐系统引擎UserCF中的IRStats部分源码解析
Mahout提供推荐系统引擎是模块化的，分为5个主要部分组成： 1. 数据模型 2. 相似度算法 3. 近邻算法 4. 推荐算法 5. 算法评分器 今天好好看了看关于推荐算法以及算法评分部分的源码。 以http://blog.csdn.net/jianjian1992/article/details/46582713 里边数据的为例进行实验。整体流程的代码如下，依
2015-08-07 11:55:27
2699
原创 Mahout安装与第一次使用--用户协同过滤
记录mahout的安装与使用，并用单机mahout的UserCF进行了详细说明来熟悉mahout编程。
2015-08-05 17:04:58
1414
1
原创 MapReduce--倒排索引
文档倒排算法简介Inverted Index(倒排索引)是目前几乎所有支持全文检索的搜索引擎都要依赖的一个数据结构。基于索引结构，给出一个词(term)，能取得含有这个term的文档列表(the list of documents) Web Search中的问题主要分为三部分：crawling(gathering web content) ,网页爬虫，收集数据indexing(construc
2015-08-04 10:59:47
4846
1
原创 MapRed编程自定义Partitioner
接着 mapreduce–使用自定义类做value 继续做实验，这次试一试Partitioner的效果。 根据之前实验的数据，key值是数据中第二列的电话号码，我想把它们根据运营商不同分到不同的组，也即以13,15,18，以及其他开头的号码分别分到一组中。 那么我应该加一个Partitioner控制shuffle阶段的分组过程。MyPartitioner扩展Partitioner类 Par
2015-08-01 10:46:08
529
原创 mapreduce--使用自定义类做value
在mapreduce编程中，有挺多实现了Comparable, Writable接口的内置变量类型，比如 Text， IntWritable，LongWritable等等。 这次我要自己定义一个类，将它用作设计自定义类MyData按照需求，这个类应该有4个变量，分别记录手机号，上行流量，下行流量以及总流量。 这个类需要实现Writable接口，所以需要实现两个函数：write函数 ，将MyD
2015-07-30 21:32:55
1857
原创 hibernate自动建表的问题
hibernate.cfg.xml如下：<!DOCTYPE hibernate-configuration PUBLIC "-//Hibernate/Hibernate Configuration DTD 3.0//EN" "http://hibernate.sourceforge.net/hibernate-configuration-3.0.dtd
2015-07-29 10:23:56
564
原创 Maven+Eclipse+Hadoop第一个WordCount
之前一直都是在windows下的Eclipse写hadoop，这次打算在Ubuntu下写一次，采用Maven来创建和管理工程。Maven是一种挺方便的工程管理插件吧，通过写依赖项属性便可以自动加入需要的各个依赖库文件，也让Hadoop程序能够直接在Console这里运行，不需要导出jar包到命令行中去，方便调试代码啦！真是一段辛苦的经历呀，碰到了各种各样的问题，记录一下啦！
2015-07-19 20:15:37
5852
原创 如何在struts2的action返回结果之后再来进行费时的数据库操作呢？
action里边有些操作执行要花很长时间，这样就会影响服务器与前台的交互速度，所以问题就来了，能不能在action返回一个json结果之后再来进行这些耗时的操作呢？
2015-07-16 21:18:36
872
原创 使用JNI的struts2项目在tomcat遇到的问题
写了一个struts2项目，里边用到了JNI，在MyEclipse下顺利地运行了，可是deploy到tomcat之后遇到了N多错误，让我头疼不已，特此记录一下遇到的错误！
2015-07-09 21:49:28
1578
原创 JNI使用---如果我的cpp里边要使用opencv该怎么办呢？
本次需求与问题我用javah生成.h头文件之后，要生成相应的cpp文件来实现头文件里边定义的方法。看到的很多示例都是在Java工程下边用命令行的方式来生成cpp的dll。 比如说http://blog.csdn.net/jianjian1992/article/details/46724043 那问题就来了，如果只是简单地使用c++来实现，那就在这个cpp里边写就好了，可是如果我要用到其它的库，
2015-07-07 13:08:20
950
原创 Hibernate--CirclesOfImage应用
本次目的：需求是为一幅图像寻找里边的所有圆，并将这些圆保存到数据库中。 所以数据库的设计为，对于一幅图像，保存它的图片名（图片统一保存在某个目录下，所以只需要保存图片名） 保存它里边的所有圆的信息，因为每幅图像中圆个数未知，所以采用List保存所有圆圆为自定义类型，包括圆心(x,y)以及半径radius自定义类型Circle如下图所示，我将Circle存在包c里边。 圆里边有变量x,y记
2015-07-06 19:35:15
657
原创 php使用face++实现一个简单的人脸识别系统
php使用face++实现一个简单的人脸识别系统 流程可以分为两部分，一部分是训练，一部分是测试。
2015-07-03 19:25:48
13540
1
原创 JNI初次使用---在C++中得到一系列圆并返回ArrayList
整个流程可以简单地描述为：对一幅图片，对它进行某种操作，然后得到一系列的圆作为返回结果。这里的问题便是，某种操作是在C++中实现的，而我的主要代码部分是在Java中，所以就涉及到了在Java中调用C++的混合编程了。解决办法是使用JNI的方式，在Java设计的函数应该有如下形式public ArrayList<Circle> getCircles(String imgUrl)也就是传入图片url给C++，C++中对图像进行处理，得到很多圆作为结果，然后创建一个ArrayList保存这些圆，并返回这个
2015-07-02 11:13:27
6345
Hadoop系统安装运行与程序开发
2015-06-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人