hadoop
文章平均质量分 80
Coselding
互相学习,互相交流,共同进步~
展开
-
MapReduce 1底层实现原理
1、 云计算框架: MapReduce:适合离线计算 Storm:流式计算框架,实时计算 Spark:内存计算框架,快速得到结果的情形2、 MapReduce理念:移动计算而不移动数据!3、 MapReduce流程: 数据来源:HDFS 数据去处:HDFS (1) Split部分:先把HDFS取出的数据分割成多块split; 默认sp原创 2016-12-04 00:15:01 · 1913 阅读 · 0 评论 -
MapReduce 1 程序开发
本文为博主原创,允许转载,但请声明原文地址:http://www.coselding.cn/article/2016/05/31/MapReduce 1 程序开发/1、 主JobTracker:负责总任务的调度和分配工作,控制其他的TaskTracker的执行,发现其中的TaskTracker无法执行就分配其他TaskTracker接着执行相应的任务,总调度作用,若任务中的JobTra原创 2016-12-04 00:18:06 · 435 阅读 · 0 评论 -
Hadoop 2.x理论知识
本文为博主原创,允许转载,但请声明原文地址:http://www.coselding.cn/article/2016/05/31/Hadoop 2.x理论知识/Hadoop1.x的问题: (1) NameNode的单点故障问题; (2) NameNode的内存限制和可拓展性问题; (3) JobTracker访问过大,影响系统可拓展性; (4) 难以原创 2016-12-04 00:20:23 · 389 阅读 · 0 评论 -
MapReduce过程详细解析和使用
本文为博主原创,允许转载,但请声明原文地址:http://www.coselding.cn/article/2016/05/31/MapReduce过程详细解析和使用/ MapReduce的详细执行过程和MapReduce程序编程过程中可能会用的东西,参考了很多大神的博客,后来发现好好钻研Hadoop源码会对过程的理解帮助很大,这个文章主要涉及MapReduce,由于Hadoop2.原创 2016-12-04 00:22:29 · 2812 阅读 · 0 评论 -
Hadoop 2.x HDFS使用和配置步骤
本文为博主原创,允许转载,但请声明原文地址:http://www.coselding.cn/article/2016/05/31/Hadoop 2.x HDFS使用和配置步骤/ 先说明,Hadoop2.x向下兼容,支持Hadoop1.x的配置方式,单NameNode节点部署方式,JobTracker和TaskTracker的方式,这种配置方式相当于放弃了Hadoop2.x的高可原创 2016-12-04 00:23:57 · 676 阅读 · 0 评论 -
MyBatis源码浅析
本文为博主原创,允许转载,但请声明原文地址:http://www.coselding.cn/article/2016/06/09/MyBatis源码浅析/MyBatis源码浅析我们来从使用过程的角度来看源码~注:本人已经熟练掌握JDBC编程的各个细节,并且有Hibernate开发经验,对Hibernate的一些细节较为熟悉,所以过程中不免会因此忽略一些细节,有的话再给我指出即可原创 2016-12-04 00:32:48 · 1133 阅读 · 0 评论 -
ZooKeeper配置和学习笔记
ZooKeeper介绍Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。本文将从使用者角度详细介绍 Zookeeper 的安装和配置文件中各个配置项的意义,以及分析 Zookeeper 的典型的应用场景(配置文件的管理、集群管理、同步锁、Lead原创 2017-01-02 17:28:30 · 11719 阅读 · 1 评论