hadoop
文章平均质量分 82
fredy_yang
这个作者很懒,什么都没留下…
展开
-
hadoop streaming使用
hadoop的treaming使用与介绍原创 2013-07-15 11:32:24 · 1871 阅读 · 0 评论 -
PHP操作HBASE(通过thrift)
HBase是一个开源的NoSQL产品,它是实现了Google BigTable论文的一个开源产品,和Hadoop和HDFS一起,可用来存储和处理海量column family的数据。官方网址是:http://hbase.apache.org一 、HBase访问接口1. Native Java API,最常规和高效的访问方式,适合Hadoop MapReduce Job并行批处理HBa转载 2013-07-15 10:33:59 · 999 阅读 · 0 评论 -
大数据架构hadoop
Hadoop在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势,事实上已成为当前互联网企业主流的大数据分析平台。本文主要介绍一种基于Hadoop平台的多维分析和数据挖掘平台架构。作为一家互联网数据分析公司,我们在海量数据的分析领域那真是被“逼上梁山”。多年来在严苛的业务需求和数据压力下,我们几乎尝试了所有可能的大数据分析方法,最终落地于Hadoop平台之上。原创 2013-07-15 11:20:00 · 1735 阅读 · 0 评论 -
hadoop之HDFS介绍
hadoop的分布式存储系统HDFS原创 2013-07-15 11:39:16 · 1021 阅读 · 0 评论 -
Hadoop处理数据的轨迹
hadoop运行轨迹原创 2013-07-15 11:42:42 · 1975 阅读 · 1 评论 -
hadoop 文件系统shell命令
调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme。一个HDFS文件或目原创 2013-07-16 11:38:17 · 913 阅读 · 0 评论 -
Streaming编程实例(c,c++,python等)
1、概述Hadoop Streaming是Hadoop提供的一个编程工具,它允许用户使用任何可执行文件或者脚本文件作为Mapper和Reducer,例如:采用shell脚本语言中的一些命令作为mapper和reducer(cat作为mapper,wc作为reducer)$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-strea原创 2013-07-16 11:47:38 · 1202 阅读 · 0 评论 -
海量数据的存储计算和查询模型
海量数据(“Big Data”)是指那些足够大的数据,以至于无法再使用传统的方法进行处理。在过去,一直是Web搜索引擎的创建者们首当其冲的面对这个问题。而今天,各种社交网络,移动应用以及各种传感器和科学领域每天创建着上PB的数据。 为了应对这种大规模数据处理的挑战,google创造了MapReduce。Google的工作以及yahoo创建的Hadoop孵化出一个完整的海量数据处理工具的生态系统。原创 2013-07-16 17:08:21 · 4235 阅读 · 0 评论