Hadoop
静山晚风
珍惜眼前的人,当你不满足现状,总想找更好的,以为为自己的目标而奋斗,实际上你错过了眼前人,当十年过去了,你得到了你想要的,但你最最珍爱的已经不再了,包括任何的人和事,亲人,朋友同学,同事,家人。可能还不知,那时的你才是自己的最巅峰。重拾CSDN,我回来了
展开
-
Hadoop学习
1 分为两个部分Job jobtracker 请求,请求管理器Task TaskTracker 处理 处理管理器2 Map reduce原理任务读取每一行数据,分别排列,然后做排序,key相同的做任务分发,然后再做处理3 通过定期数据节点做心跳反应来确定是否是挂机了4 fsimage(临时日志)+editors 总日志,定时二级namenode上传到 namenode原创 2014-02-27 09:42:39 · 744 阅读 · 0 评论 -
听取hadoop培训第二讲
(1) 当抛出三种异常时分别的处理方法:A:任务失败:节点任务失败了就会在集群的其他阶段继续执行,默认执行4次B:TaskTracker:如果挂了会发送到别的节点进行执行,和A相同C: JobTracker:此时的主节点挂机,最严重的错误,Hadoop 2.0会把任务转移到备份节点继续执行(2) 作业调度先进先出,公平调度原则,默认为先进先出。(3) 倒排索引,和传统map-reduce不一样实现原创 2014-02-28 08:40:58 · 758 阅读 · 0 评论 -
hadoop个人理解
2 hadoop三种方式Local:需要改hadoop-site.xml—的java——homeHadoop-default是主要配置,不需要更改命令:hadoop/bin/hadoop demo.hadoop.HadoopGrep log文件所在目录 任意的输出目录 grep的字符串原创 2014-10-10 15:32:11 · 752 阅读 · 0 评论