2011年10月_yclzh0522

转载 Hadoop RPC机制

Hadoop RPC机制转载：http://www.iteye.com/topic/7099931、心跳机制心跳的机制大概是这样的： 1) master启动的时候，会开一个ipc server在那里。 2) slave启动时，会连接master，并每隔3秒钟主动向master发送一个“心跳”，将自己的状态信息告诉master，然后master也是通过这个心跳的返回值，

2011-10-31 18:44:32 1178

原创优秀的技术blog推荐（持续更新）

算法专区：http://blog.csdn.net/v_JULY_vlinux专区：http://www.linuxidc.com/Android专区：http://blog.csdn.net/Luoshengyang/http://blog.csdn.net/zhenwenxianhttp://blog.csdn.net/haojunming数据挖掘专区：ht

2011-10-31 17:42:08 1136

转载海量数据处理方法总结

第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP（可以采用hash_map进行频率统计，然后再找出频率最大的几

2011-10-31 17:25:32 1226 2

在Android系统中，键盘按键事件是由WindowManagerService服务来管理的，然后再以消息的形式来分发给应用程序处理，不过和普通消息不一样，它是由硬件中断触发的；在上一篇文章《Android应用程序消息处理机制（Looper、Handler）分析》中，我们分析了Android应用程序的消息处理机制，本文将结合这种消息处理机制来详细分析Android应用程序是如何获得键盘按键消息的。

2011-10-31 15:10:15 13852 4

转载 Linux之awk命令详解

AWK介绍0.awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk。1.awk语言的最基本功能是在文件或字符串中基于指定规则来分解抽取信息，也可以基于指定的规则来输出数据。完整的awk脚本通常用来格式化文本文件中的信息。2.三种方式调用awk1) awk [opion] 'awk_script' input_file1 [input_file2 ...]

2011-10-30 16:38:22 758

原创 SIFT算法详解

SIFT算法由D.G.Lowe 1999年提出，2004年完善总结，论文发表在2004年的IJCV上：David G. Lowe, "Distinctive image features from scale-invariant keypoints,"International Journal of Computer Vision, 60, 2 (2004), pp. 91-110论文

2011-10-28 18:05:11 5468

原创 11款相似图片搜索引擎推荐，以图搜图将不再是难事

你想凭着一张现有图片找出它的原始图片，或者是凭着一张小的缩略图找出原始大图吗？下面的十一款搜索引擎可以帮你实现，以图找图，以图搜图，以图片搜索相似的图片。1.http://tineye.com/Tineye是典型的以图找图搜索引擎，输入本地硬盘上的图片或者输入图片网址，即可自动帮你搜索相似图片，搜索准确度相对来说还比较令人满意。TinEye是加拿大Idée公司研发的相似图片搜索

2011-10-28 15:21:15 29518

原创图片搜索之感知哈希算法

TinEye是如何工作的呢？这里面也许有十分复杂的原理。不过从结果看来，它使用了一种叫做“感知哈希算法（以下简称PHA）”的东西。 PHA是一类比较哈希方法的统称。图片所包含的特征被用来生成一组指纹（不过它不是唯一的）,而这些指纹是可以进行比较的。 PHA与加密哈希方法（以下简称CHA)，如MD5、SHA1等，是不同的概念。CHA的哈希值是随机的。用来生成哈希的数据的行为就

2011-10-28 15:10:31 8863 4

转载 Android 深入研究拖放功能Launcher（二）

看了上面代码知道，当开始点击桌面时，celllayout就会根据点击区域去查找在该区域是否有child存在，若有把它设置为tag.cell,没有,tag.cell设置为null,后面在开始拖放时launcher.onlongclick中对tag进行处理，　　这个理顺了，再深入到workspace.startDrag函数，workspace.startDrag调用DragController

2011-10-28 10:07:37 1261 1

转载 Android 深入研究拖放功能Launcher（一）

Luancher有一个相对比较复杂的功能就是拖放功能，要深入了解launcher,深入理解拖放功能是有必要的，这篇blog，我将对launcher的拖放功能做深入的了解　　1.首先直观感受什么时候开始拖放?我们长按桌面一个应用图标或者控件的时候拖放就开始了，包括在all app view中长按应用图标，下面就是我截取的拖放开始的代码调用堆栈java代码：at com

2011-10-28 10:06:31 1002

转载 Dalvik技术揭秘之四-Dalvik虚拟机的指令格式

在分析Dalvik虚拟机运行之前，先要了解Davlik指令，但是了解Davlik指令之前又要先懂得指令的格式，才能看得懂指令是怎么样构成，怎么样表达，怎么样查看，下面就来仔细地学习指令格式，这样在代码里看到指令时，就会很自然而然知道这条指令是干什么用了。在Dalvik虚拟机的目录下面有这样一份文档，我们来仔细学习它，如下：本文描述了在Dalvik虚拟机里字节码的指令格式，这种指令格式是

2011-10-27 10:37:49 2363

转载 Davlik技术揭秘之三Dalvik虚拟机的JNI方法和类表示

从上一节里，我们学习到JNI的方法表示可知，GetStaticMethodID方法最后一个参数“([Ljava/lang/String;)V”。这个参数是一个字符串，但内容排列比较奇怪，其实它是一种对函数返回值和参数的编码。这种编码叫做JNI字段描述符（JavaNative Interface FieldDescriptors)。这里只是方法描述符，但也有类描述符。其实这串参数“([Ljava

2011-10-26 14:40:22 1434

转载 Dalvik技术揭秘之二Dalvik虚拟机运行ZygoteInit类

从上一节可以知道Dalvik虚拟机入口点和创建虚拟机的函数，这一节继续分析运行时类调用虚拟机的代码片段，需要搞清楚怎么样运行JAVA的ZygoteInit类，Dalvik虚拟机又提供什么样的接口调用。运行时类代码如下：/*start the virtual machine */if (startVm(&mJavaVM, &env) != 0)goto bail;这一段是创建虚拟机，

2011-10-26 14:39:01 977

转载 Dalvik技术揭秘之二Dalvik虚拟机的入口点

要分析Dalvik虚拟机的代码，到底从那里开始比较好呢？从事软件开发人员都知道，每个程序都有生命周期，都有出生点，也就是程序的进入位置。像C语言里控制台程序是使用main函数作为入口点的，java程序也是使用main函数作为入口点。其实Dalvik虚拟机作为应用程序启动时，也是一样的从main函数开始。从Dalvik虚拟机源码目录dalvik/dalvikvm/Main.c文件，就可以看到入口函数

2011-10-26 14:37:08 1451

转载 Davlik虚拟机技术揭秘之一

为了挖掘Dalvik虚拟机的秘密，需要仔细分析Dalvik的每一个目录，每一个文件，才能把它的细节了然于胸。下面就开始吧！ Android.mk 这个文件是虚拟机编译的makefile文件。 dalvikvm 这个目录是虚拟机命令行调用入口文件的目录，主要用来解释命令行参数，调用库函数接口等。 dexdump 这个目录是生成dex文件反编译查看工具，主要用来查看

2011-10-26 14:34:45 1312

原创 EM算法介绍

在Mitchell的书中也提到EM可以用于贝叶斯网络中。下面主要介绍EM的整个推导过程。1. Jensen不等式回顾优化理论中的一些概念。设f是定义域为实数的函数，如果对于所有的实数x，，那么f是凸函数。当x是向量时，如果其hessian矩阵H是半正定的（），那么f是凸函数。如果或者，那么称f是严格凸函数。 Jensen不等式表述如下：如果f是

2011-10-24 15:01:12 2434 1

转载 SMO算法介绍

SMO优化算法（Sequential minimal optimization）SMO算法由Microsoft Research的John C. Platt在1998年提出，并成为最快的二次规划优化算法，特别针对线性SVM和数据稀疏时性能更优。关于SMO最好的资料就是他本人写的《Sequential Minimal Optimization A Fast Algorithm for Train

2011-10-24 14:56:11 19442 6

原创 SVM-支持向量机详解（三）

之前一直在讨论的线性分类器,器如其名，只能对线性可分的样本做处理。如果提供的样本线性不可分，结果很简单，线性分类器的求解程序会无限循环，永远也解不出来。这必然使得它的适用范围大大缩小，而它的很多优点我们实在不原意放弃，怎么办呢？是否有某种方法，让线性不可分的数据变得线性可分呢？有！其思想说来也简单，来用一个二维平面中的分类问题作例子，你一看就会明白。事先声明，下面这个例子是网络早就有的，我

2011-10-24 13:44:20 8087 4

原创 SVM-支持向量机（二）

上节说到我们有了一个线性分类函数，也有了判断解优劣的标准——即有了优化的目标，这个目标就是最大化几何间隔，但是看过一些关于SVM的论文的人一定记得什么优化的目标是要最小化||w||这样的说法，这是怎么回事呢？回头再看看我们对间隔和几何间隔的定义：间隔：δ=y(wx+b)=|g(x)| 几何间隔：可以看出δ=||w||δ几何。注意到几何间隔与||w||是成反比的，因此最大

2011-10-24 13:16:30 3919

原创 SVM-支持向量机算法（一）

（一）SVM的背景简介支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中[10]。支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度，Accu

2011-10-24 12:59:21 6916 5

原创 mahout之聚类算法——KMeans分析

一，K-Means聚类算法原理 k-means 算法接受参数 k ；然后将事先输入的n个数据对象划分为 k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小。聚类相似度是利用各聚类中对象的均值所获得一个“中心对象”（引力中心

2011-10-10 20:24:09 12338 1

原创 Hadoop运行原理详解

我们通过下面这个天气数据处理的例子来说明Hadoop的运行原理.1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据，其格式如下：按照ASCII码存储，每行一条记录每一行字符从0开始计数，第15个到第18个字符为年第25个到第29个字符为温度，

2011-10-10 16:42:18 37126 5

原创 Mahout驾驭hadoop之详解

众所周知,Mahout是基于Hadoop分布式系统的,要想看懂Mahout的源码,首先得明白mahout是如何使用hadoop的! 首先,在我的>一篇中,详细介绍了hadoop的运行机制,这里就不多说了!下面我就以Kmeans聚类算法为例,讲讲mahou

2011-10-10 16:36:44 18955 4

Sin的专栏