Hadoop
cc509a
这个作者很懒,什么都没留下…
展开
-
用Python写一个 Hadoop MapReduce 程序
原文链接: http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/在本教程中,我们将介绍如何用Python 语言写一个Hadoop MapReduce 程序序言 虽然 Hadoop 是用Java语言写的,但是也可以用其他语言开发,比如Python,C++,显然这不是很方便转载 2014-11-26 17:23:23 · 3643 阅读 · 2 评论 -
認識Hadoop
hadoop專案包括一些相關的子專案core:核心分佈式管理系統avro:一個有效率的,跨平台的,遠端程式呼叫資料序列化系統mapredce:分佈式資料處理系統HDFS:一個分佈式檔案管理系統pig:處理大量資料流的語言與執行環境HBase:一個以列為導向的分佈式資料庫系統Zookeeper:一個分數式協同系統Hive:分散式倉庫系統,管理HDFS儲存的資料并提供s原创 2014-12-11 16:56:19 · 564 阅读 · 0 评论 -
MapReduce 簡介
Google發佈了新的一條系統架構平台:其中包括MapReduce(以下簡稱mr),GoogleFileSystem,BigTable,其中mr是一套新加的平行程式架構,用來平行處理大量的數據資料,採用的方式類似分治法的觀念,現將大量的數據分解成多個資料片段,然後分別平行計算。最後將這些結果合併。輸入﹣>切割﹣》Mapping(映射)﹣》重新排序﹣》Reduce(化簡)﹣》result原创 2014-12-11 16:43:08 · 485 阅读 · 0 评论