zookeeper
麦才坚
这个作者很懒,什么都没留下…
展开
-
hdfs详解
******HDFS基本概念篇****** 1. HDFS前言 l 设计思想 分而治之:将大文件、大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析; l 在大数据系统中作用: 为各类分布式运算框架(如:mapreduce,spark,tez,……)提供数据存储服务 l 重点概念:文件切块,副本存放,元数据 2. HDFS的概念转载 2018-01-21 21:30:25 · 257 阅读 · 0 评论 -
zookeeper的安装
1.1.1. 机器部署 安装到3台虚拟机上 安装好JDK 1.1.2. 上传 可以使用xshell+xftp5的方式上传文件 1.1.3. 解压 su – hadoop(切换到hadoop用户) tar -zxvf zookeeper-3.4.5.tar.gz(解压) 1.1.4. 重命名 mv zookeeper-3.4.5 zookeepe原创 2018-01-22 13:48:10 · 146 阅读 · 0 评论 -
zookeeper API 的基本使用
public class SimpleDemo { // 会话超时时间,设置为与系统默认时间一致 private static final int SESSION_TIMEOUT = 30000; // 创建 ZooKeeper 实例 ZooKeeper zk; // 创建 Watcher 实例 Watcher wh = new Watcher() { public void pro原创 2018-01-22 14:03:28 · 360 阅读 · 0 评论 -
实现分布式应用的(主节点HA)及客户端动态更新主节点状态
实现分布式应用的(主节点HA)及客户端动态更新主节点状态 某分布式系统中,主节点可以有多台,可以动态上下线 任意一台客户端都能实时感知到主节点服务器的上下线 A、客户端实现 public class AppClient { private String groupNode = "sgroup"; private ZooKeeper zk; private Sta原创 2018-01-22 15:11:37 · 658 阅读 · 2 评论 -
日志流实时监控
日志流实时监控 题目:基于Spark Streaming实现流处理 使用Spark Streaming、Kafka等实现日志流处理功能,可以捕获新应用日志的生成,采用流处理,对日志中存在的ERROR数据进行统计和告警 日志格式可以自己定义,可以参考正常log4j生成的日志格式。 题目分析如下: 功能要求:实现实时error级别日志的统计,并作出相应处理 框架要求:结合sparks原创 2018-02-04 18:07:55 · 3863 阅读 · 1 评论