![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
云计算与大数据
不会改BUG的小萌新
计算机科学与技术专业
联系邮箱1829523645@qq.com
展开
-
分布式协调框架——Zookeeper概述、安装、数据类型、Shell客户端操作与JavaAPI操作
Zookeeper1.Zookeeper概述Zookeeper是一个开源的分布式协调服务框架,主要用来解决分布式集群中应用系统的一致性问题和数据管理问题2.Zookeeper特点Zookeeper本质上是一个分布式文件系统,也可以理解为一个数据库Zookeeper中存储的其实是一个又一个Znode,Znode是Zookeeper中的节点Znode是有路径的,例如/data/host1,这个路径也可以理解为是Znode中的NameZnode也可以携带数据,例如某个Znode的路径是/da原创 2020-11-14 21:39:31 · 198 阅读 · 0 评论 -
用三台虚拟机搭建Hadoop分布式集群——MapReduce编程规范、运行模式、分区、计数器
Hadoop-MapReduce1.MapReduce介绍MapReduce的思想核心是“分而治之”,适用于大量复杂的任务处理场景。map负责分,即把复杂的任务分解成若干个“简单的任务”进行处理。可以进行拆分的前提是这些小任务可以并行计算,彼此间几乎没有依赖关系Reduce负责合,对map阶段的结果进行全局汇总MapReduce运行在yarn集群ResourceManagerNodeManager一个完整的MapReduce程序在分布式运行时有三类实例进程MRAppMaster原创 2020-11-14 21:35:49 · 964 阅读 · 0 评论 -
用三台虚拟机搭建Hadoop分布式集群——Hadoop介绍与安装
Hadoop1.Hadoop历史版本和发行版公司Hadoop历史版本1.x版本系列:Hadoop版本当中的第二代开源版本,主要修复0.x版本的一些Bug等2.x版本系列:架构发生重大变化,引入了yarn平台许多新特性3.x版本系列:加入许多namenode新特性Hadoop三大发行版公司免费开源版本apachehttp://hadoop.apache.org优点:拥有全世界的开源贡献者,代码更新迭代版本比较快缺点:版本的升级,版本的维护,版本的兼容性,版本的补丁都可能考虑的不原创 2020-11-14 21:31:16 · 1671 阅读 · 1 评论 -
用三台虚拟机搭建Hadoop分布式集群——准备工作
准备工作1. 虚拟机修改Mac和IP(CentOS7)1.1 集群规划IP主机名环境配置安装192.168.217.100node01关防火墙和seLinux,host映射,时钟同步JDK,NameNode,ResourceManager,Zookeeper192.168.217.110node02关防火墙和seLinux,host映射,时钟同步JDK,DataNode,NodeManager,Zookeeper192.168.217.120node0原创 2020-11-14 21:27:58 · 589 阅读 · 0 评论