hadoop
zlingh
大家多多交流我邮箱是zhangping_bnu@qq.com
展开
-
Hadoop环境搭建——集群篇
官方搭建文档:http://hadoop.apache.org/docs/r1.0.4/cluster_setup.html转自:http://vampire1126.iteye.com/blog/891735在完成单节点环境搭建的基础上进行集群环境搭建流程: 配置阶段: 配置一系列文件转载 2012-12-29 18:49:14 · 507 阅读 · 0 评论 -
Hbase简介
Hbase简介 started by chad walters and jim 2006.11 G release paper on BigTable 2007.2 inital Hbase prototype created as Hadoop contrib 2007.10 First useable Hbase 2008.1 Hadoop b转载 2013-11-09 23:47:46 · 754 阅读 · 0 评论 -
pig学习
Apache Pig是用来处理大规模数据的高级查询语言,配合Hadoop使用,可以在处理海量数据时达到事半功倍的效果,比使用Java,C++等语言编写大规模数据处理程序的难度要小N倍,实现同样的效果的代码量也小N倍。我根据自己在工作中的学习和总结,写了如下一些Apache Pig中文教程,供大家参考。文章来源:http://www.codelast.com/(1)《Apache转载 2013-04-29 22:01:22 · 1011 阅读 · 0 评论 -
pig的udf相关
一:python先记下官方的一个极经典例子####################### # Data Type Functions # ####################### #collectBag- collect elements of a bag into other bag #This is useful UDF after group operation原创 2013-03-23 22:57:43 · 3219 阅读 · 0 评论 -
Hadoop文件系统Shell
在官方网站上可以找到详细的文档:http://hadoop.apache.org/docs/r1.1.1/file_system_shell.html OverviewThe File System (FS) shell includes various shell-like commands that directly interact with the Hadoop转载 2013-03-08 14:24:39 · 715 阅读 · 0 评论 -
hadoop学习
http://www.cnblogs.com/skyme/archive/2012/07/25/2608310.html转载 2013-01-06 00:58:19 · 437 阅读 · 0 评论 -
hadoop命令
把文件从本地复制进hdfshadoop dfs -copyFromLocal /tmp/test.txt firstTest,或者,hadoop fs -put /tmp/test.txt firstTest查看hdfs文件系统hadoop dfs -ls执行wordcounthadoop jar hadoop-examples-1.0.4.jar wordcoun原创 2012-12-29 19:59:09 · 426 阅读 · 0 评论 -
Hadoop环境搭建——单节点篇
官方搭建文档:http://hadoop.apache.org/docs/r1.0.4/single_node_setup.html转自:http://www.iteye.com/topic/891693 流程: 装机阶段: 安装ubuntu,jdk和hadoop 创建一个名为ha转载 2012-12-29 16:55:02 · 781 阅读 · 0 评论 -
pig安装与使用
官网安装指导:http://pig.apache.org/docs/r0.10.0/start.html首先下载:pig程序然后使用tar -zxf 命令解压然后把pig程序加入环境变量可以有很多方法,比如:% export PIG_INSTALL=/home/tom/pig-x.y.z% export PATH=$PATH:$PIG_INSTALL原创 2012-12-29 22:26:55 · 992 阅读 · 0 评论 -
Google's BigTable 原理
Google's BigTable 原理 (翻译) 题记:google 的成功除了一个个出色的创意外,还因为有 Jeff Dean 这样的软件架构天才。 ------ 编者官方的 Google Reader blog 中有对BigTable 的解释。这是Google 内部开发的一个用转载 2013-10-03 22:50:13 · 579 阅读 · 0 评论