- 博客(3)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 【大数据技术】3.Mapreduce和Yarn
一、MapreduceMapreduce主要应用于日志分析、海量数据的排序、索引计算等应用场景，它是一种分布式计算模型，主要用于解决离线海量数据的计算问题。核心思想是：“分而治之，迭代汇总”Mapreduce主要由两个阶段：map阶段:任务分解1.读取HDFS中的文件，把输入文件按照一定的标准分片，每个输入片的大小是固定的，（默认情况下，输入片的大小与数据块的大小相同，数据块大小默认为6...
2018-11-21 16:20:01
174
原创 【大数据技术】2.协调服务zookeeper
本文主要按以下六个部分进行描述：一、概念与作用二、数据模型与特征三、角色四、工作原理五、选举机制六、zookeeper实战操作（shell命令与API）一、概念与作用zookeeper主要是为分布式应用提供一致性服务主要提供:维护配置信息、名字服务、分布式同步、组服务其结构类似于文件系统，但没有文件和目录节点名znode，保存数据的容器，限定在1M内二、数据模型与特征...
2018-11-19 16:33:36
153
原创 【大数据技术】1.hadoop集群搭建
近年来，大数据技术越来越吃香，也是追求高薪的必备技能之一。近些日子，打算技术转型，开始研究大数据技术，基于对JAVA、LINUX系统有一定的基础，完成hadoop集群搭建（1个master和1个slave）。一、准备工具VMvare、centOS6.3、SSH Secure客户端（具体安装过程这里不做描述）hadoop2.X压缩包与jdk安装包，我这里准备的JDK和Hadoop软件包如下所...
2018-11-02 14:13:02
336
Java分布式应用
2016-08-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人