Hadoop
文章平均质量分 78
Guibin
这个作者很懒,什么都没留下…
展开
-
深度分析如何在Hadoop中控制Map的数量
深度分析如何在Hadoop中控制Map的数量guibin.beijing@gmail.com很多文档中描述,Mapper的数量在默认情况下不可直接控制干预,因为Mapper的数量由输入的大小和个数决定。在默认情况下,最终input占据了多少block,就应该启动多少个Mapper。如果输入的文件数量巨大,但是每个文件的size都小于HDFS的blockSize,那么会造成启动的Ma原创 2012-04-09 17:29:35 · 34935 阅读 · 2 评论 -
Oozie调度Pig job常见的问题及分析
Oozie调度Pig job常见的问题及分析guibin.beijing@gmail.com1. Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.PigMain], exit code [7]这个错误一开始让人一头雾水!查阅了"Programming Pig. 2011 version"才知道exi原创 2013-07-02 08:58:25 · 4591 阅读 · 0 评论 -
Cloudera Development Kit(CDK) 简介
Cloudera Development Kit(CDK) 简介guibin.beijing@gmail.com2013.07.02CDK简介CDK(Cloudera Development Kit) 就是一些Cluodera开发的库、工具和文档的集合。CDK这个项目存在的价值在于使得在基于Hadoop生态系统上开发系统更加容易。这个项目是按照模块组织的,模块之间或者独立,或者依赖原创 2013-07-02 21:03:49 · 3325 阅读 · 0 评论