hadoop系列
jindong_zhao
产品研发工程师,两年的flex+java开发经验,现从事电子商务产品研发,有大型网上商城开发案例。
展开
-
hadoop学习1——job执行过程
接触hadoop半年多了,主要使用hadoop+hive做数据分析。部署和使用现在都没什么问题了,但是就是对其内部原理不是非常清楚,所以准备从头从源码开始系统学习,把学习过程中的问题和自己的理解记录在此。 下面是一段调试wordcount: 环境:windows + cygwin + eclipse(怎么搭建环境、和搭建过程中遇到的问题以后有空再写,现在主要学习一下hadoop的运行原理),伪...2012-02-09 11:38:46 · 111 阅读 · 0 评论 -
hadoop问题记录1
eclipse调试时遇到如下问题: 12/02/09 10:06:30 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId= 12/02/09 10:06:30 WARN mapred.JobClient: Use GenericOptionsParser for parsin...2012-02-09 11:43:09 · 179 阅读 · 0 评论 -
hadoop学习2——DistributedCache的部分用法
DistributedCache的部分用法。 调试代码:wordcount2.java public class WordCount2 extends Configured implements Tool { static Logger log = Logger.getLogger(WordCount2.class); public static class Map ext...2012-02-09 17:35:21 · 112 阅读 · 0 评论 -
hadoop学习3——DistributedCache加载本地库
本地库位置:hadoop发行版的lib/native目录下 支持的平台 Hadoop本地库只支持*nix平台,已经广泛使用在GNU/Linux平台上,但是不支持 Cygwin 和 Mac OS X。 已经测试过的GNU/Linux发行版本: RHEL4/Fedora Ubuntu Gentoo 在上述平台上,32/64位Hadoop本地库分别能和32/64位的j...原创 2012-02-10 10:29:11 · 104 阅读 · 0 评论 -
hadoop学习4——使用hadoop压缩(zipping)文件
hadoop0.20.2 1.使用streaming命令(摘至hadoop开发文档): 除了纯文本格式的输出,你还可以生成gzip文件格式的输出,你只需设置streaming作业中的选项‘-jobconf mapred.output.compress=true -jobconf mapred.output.compression.codec=org.apache.hadoop.io.compr...2012-02-10 15:15:17 · 211 阅读 · 0 评论 -
hadoop学习5——从start-all.sh入手调试源码
hadoop0.20.2 一下为引用别处内容: 第一节 start-all.sh脚本 此脚本很简单,就是根据运行此脚本的目录进入安装hadoop目录下的bin目录,然后运行启动hdfs和mapred的启动脚本。 1 bin=`dirname "$0"` 2 bin=`cd "$bin"; pwd` 3 . "$bin"/hadoop-config.sh 4 # st...2012-02-13 18:08:25 · 203 阅读 · 0 评论 -
hadoop学习——IO之ObjectWritable
ObjectWritable类主要方法 public void write(DataOutput out) throws IOException { writeObject(out, instance, declaredClass, conf); } public void readFields(DataInput in) throws IOException { ...2012-02-16 12:50:42 · 271 阅读 · 0 评论