技术类
iteye_896
这个作者很懒,什么都没留下…
展开
-
hadoop map reduce
完成了sst, 现在要把它作为hadoop mapreduce 的输入和输出。 要实现的东西还不少,InputFormat、InputSplit、RecordReader 及 OutputFormat、OutputSplit、RecordWriter。 看了hadoop默认的一些输入输出格式的实现,貌似挺繁琐的。虽然只是从sst接口适配过去。 查了很多资料,下面这篇帮助挺大的。 [url]...原创 2010-08-12 22:12:00 · 91 阅读 · 0 评论 -
通过getter实现依赖注入
依赖注入是面向接口编程的前提,将对象的使用和对象的创建分离。使用者只需知道接口,而不必关心具体实现是哪个类。 例如: [code="java"] public interface Job { public boolean doJob(); } public class SweepJob { private int garbage = 10; public...原创 2010-05-30 14:54:43 · 305 阅读 · 0 评论 -
js避免变量名冲突
一个页面往往是由服务器端几个模板拼成的,因此其中的js来自不同文件。而变量名,方法名很多时候是全局的,很容易引起冲突。 例如: [code="js"] //header.jsp var a = ...; var b = ...; function init() { ... } function reset() { ... } init(); [/code] ...原创 2010-05-30 15:12:39 · 202 阅读 · 0 评论 -
java应用系统单点登录
目标:使用域账户单点登录,并且IE浏览器能自动登录 查相关资料,知道HTTP协议中有401这个状态表示用户未授权,要求NTLM方式提供用户信息时,IE会自动取当前windows账户,其他浏览器会弹出对话框要求用户输入。服务器得到用户信息后交给域控验证。 以上是原理,IIS服务器是提供这样的实现,只需简单配置。但java服务器,如tomcat、jboss,都没有这样的功能,但在网上很容易...原创 2010-06-12 01:16:16 · 274 阅读 · 0 评论 -
快速定位元素在哪个集合中:Bloom Filter
平时会接触到数据库的拆分,文件的拆分等等 拆分后,如何快速定位信息,找到包含某信息的分段 比如要查找 id=xxx 的记录,怎么知道它在哪个表里 1. 最简单的方法是在每一个表中找一遍 2. 最有效的方法是,按 id 特征分配到特定表里。比如分10个表,其中table[i]中存的都是 id % 10 == i 的元素,这时当一个 id 到来时,只要到 table[id % 10] 中找...原创 2010-07-22 23:13:57 · 134 阅读 · 0 评论 -
简单至上,搭一个hadoop开发环境
hadoop是纯java写的,与平台无关,但官方只给出了shell的启动脚本,所以在linux下很容易能运行一个单机hadoop作为开发环境 如果没有空闲机器来跑linux,在windows下,除了装一个虚拟机开linux,还有更简单的方法,在windows下启hadoop cygwin是一个windows下运行shell脚本的好东西,除了脚本本身,还有linux下常用工具像grep、...原创 2011-02-24 21:04:05 · 102 阅读 · 0 评论