![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
flyicewolf
这个作者很懒,什么都没留下…
展开
-
在Hadoop集群中动态增加和减少机器
[size=medium]增加机器:[/size]1、将新增加的机器配置文件配好2、将新增加的机器主机名/IP添加到Master机器中的$HADOOP_HOME$/conf/slaves文件中3、在新增加的机器中输入以下命令[quote]$ cd path/to/hadoop $ bin/hadoop-daemon.sh start datanode $ bin/hadoo...原创 2011-10-26 18:08:30 · 222 阅读 · 0 评论 -
Hadoop中一些优化想法
[size=medium]最近看了一些在线上跑的程序,发现一个Map输入量在700多mb,而reduce的输入只有几k。一个HiveSql程序,发现该程序只是将文件第一行的数值读出来,然后处理,其他都不需要,Hadoop在对文件的部分内容处理上还需要改进,目前无论是你的需求是什么,都会读入整个文件。[/size][size=medium]有时候我的程序不需要排序,但是在Map的输出和拷贝Map...原创 2011-10-28 17:08:56 · 54 阅读 · 0 评论 -
Hadoop与Strom
2011最后一个季度的工作基本上是围绕着两个开源项目展开的,总结如下: 由于硬件的瓶颈,摩尔定律已无法跟上数据量增长的趋势。分布式系统应运而生,而Hadoop和Storm正好代表了两个分布式系统发展的两个方向。 分布式系统,其主要问题在于如何在节点上将对应的操作应用到数据上。其计算模型也就变成了如何对数据或者操作或者两者的混合进行分发和处理。Hadoop根据移动计算优于移动数据的原则...原创 2012-01-06 13:22:21 · 77 阅读 · 0 评论 -
InterfaceAudience InterfaceStability
转:http://shuofenglxy.iteye.com/blog/935597InterfaceAudience 类包含三个注解类型,用来被说明被他们注解的类型的潜在的使用范围(audience)。 @InterfaceAudience.Public: 对所有工程和应用可用 @InterfaceAudience.LimitedPrivate: 仅...原创 2012-05-14 17:51:41 · 75 阅读 · 0 评论 -
由ApplicationMaster启动一个Container的步骤
1. 申请Container 1) 连接ResourceManager Configuration conf = new Configuration(); YarnRPC rpc = YarnRPC.create(conf); YarnConfiguration yarnConf = new YarnConfiguration(conf); // 获取Re...原创 2012-05-20 15:47:07 · 508 阅读 · 0 评论 -
YARN/MRv2 Client端 源码分析
1. 客户端 1)Job.java 用户编辑好的MapReduce程序会通过Job.waitForCompletion(true)提交任务。 public boolean waitForCompletion(boolean verbose ) throws IOException, InterruptedException, ...原创 2012-05-20 19:11:26 · 111 阅读 · 0 评论 -
Yarn/MRv2中MapReduce的启动过程之Client端
Yarn/MRv2中MapReduce的启动过程之Client端Hadoop版本0.23.1Shell端$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-0.23.1.jar wordcount input outputClient端1、 bi...原创 2012-05-21 11:05:10 · 127 阅读 · 0 评论 -
YARN/MRv2 Client端流程图
YARN/MRv2 Client端流程图原创 2012-05-26 20:06:51 · 128 阅读 · 0 评论 -
Job初始化(一)
Job的初始化1.WordCount.java public static void main(String[] args) throws Exception { // 初始化Configuration Configuration conf = new Configuration(); --> Configuration.java 默认构造函数执行...原创 2012-05-26 20:10:50 · 505 阅读 · 0 评论