大数据
蚂蚁与咖啡的故事
一个在二线城市挤公交敲代码的程序猿!
展开
-
Zookeeper基础知识点
1.概念zookeeper是一个类似hdfs的树形文件结构,zookeeper可以用来保证数据在(zk)集群之间的数据的事务性一致。 基于ZAB算法(原子消息广播协议)保证分布式环境中数据一致性两个作用:存储数据、监听事件 zookeeper有watch事件,是一次性触发的,当watch监视的数据发生变化时,通知设置了该watch的client,即watcher。zoo原创 2017-11-12 15:11:19 · 863 阅读 · 0 评论 -
Zookeeper 安装、配置、使用
即上一篇《Zookeeper基础知识点》的入门介绍,此文介绍一下ZK的安装与配置以及基本使用。搭建zookeeper集群至少需要三个节点,要求系统服务器之间保持一致(本事例使用192.168.56.200 201 202三台服务器)1.安装与配置过程解压:tar -zxvf zookeeper-3.4.10.tar.gz -C /usr/local重命名:mv zookeeper-3.4.10原创 2017-11-12 15:18:30 · 347 阅读 · 0 评论 -
Hadoop基本知识点之HDFS
自上一篇文章《Hadoop安装与集群配置》之后,需要对hadoop的一些基础知识进行一些总结。此文为HDFS相关的知识点总结。1.Hadoop组成Hadoop主要由三大模块组成:1.1 HDFS存储模块 * 分布式文件存储系统 * 提供了高可靠性、高扩展性和高吞吐率的数据存储服务 * hdfs典型结构:物理结构+逻辑结构1.2. YARN资源调配模块(引擎)(分布式资源管理框原创 2017-11-18 21:10:03 · 567 阅读 · 0 评论 -
Hadoop安装与集群配置
1.下载软件a. 下载VirtualBox http://download.virtualbox.org/virtualbox/5.1.18/VirtualBox-5.1.18-114002-Win.exe b. 下载CentOS http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1611.iso c.原创 2017-11-15 08:34:47 · 628 阅读 · 0 评论