Hadoop
小宝老豆
这个作者很懒,什么都没留下…
展开
-
hadoop 0.20 程式開發
eclipse plugin +Makefile零.前言¶· 開發hadoop 需要用到許多的物件導向語法,包括繼承關係、介面類別,而且需要匯入正確的classpath,否則寫hadoop程式只是打字練習...· 用類 vim 來處理這種複雜的程式,有可能原创 2011-10-14 16:36:58 · 850 阅读 · 0 评论 -
hadoop实验记录
实验一:单机模式1、 实验环境1) 一台PC机,安装windows操作系统2) Vmware虚拟机:VMwareWorkstation73) Linux操作系统:ubuntu-9.10-desktop-i386.iso原创 2011-10-14 16:39:53 · 766 阅读 · 0 评论 -
Hadoop使用常见问题以及解决方法
1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer:程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对于正常使用是够了,但是对于程序来原创 2011-10-14 16:42:16 · 1063 阅读 · 0 评论 -
MongoDB集成Hadoop进行统计计算
MongoDB 本身可以做一些简单的统计工作,包括其内置的基于 Javascript 的 MapReduce 框架,也包括在MongoDB 2.2版本中引入的新的统计框架。除此之外,MongoDB 还提供了对外部统计工具的接口,这就是本文要说的MongoDB-Hadoop的数据中间件。文章内容来源于MongoDB官方博客。原理图解MongoDB与Hadoop相结合的方式如下图所未,MongoDB作翻译 2012-07-30 18:06:07 · 1415 阅读 · 0 评论