zookeeper
麦才坚
这个作者很懒,什么都没留下…
展开
-
hdfs详解
******HDFS基本概念篇******1. HDFS前言l 设计思想分而治之:将大文件、大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析; l 在大数据系统中作用:为各类分布式运算框架(如:mapreduce,spark,tez,……)提供数据存储服务 l 重点概念:文件切块,副本存放,元数据 2. HDFS的概念转载 2018-01-21 21:30:25 · 258 阅读 · 0 评论 -
zookeeper的安装
1.1.1. 机器部署安装到3台虚拟机上安装好JDK 1.1.2. 上传可以使用xshell+xftp5的方式上传文件1.1.3. 解压su – hadoop(切换到hadoop用户)tar -zxvf zookeeper-3.4.5.tar.gz(解压) 1.1.4. 重命名mv zookeeper-3.4.5 zookeepe原创 2018-01-22 13:48:10 · 146 阅读 · 0 评论 -
zookeeper API 的基本使用
public class SimpleDemo {// 会话超时时间,设置为与系统默认时间一致private static final int SESSION_TIMEOUT = 30000;// 创建 ZooKeeper 实例ZooKeeper zk;// 创建 Watcher 实例Watcher wh = new Watcher() {public void pro原创 2018-01-22 14:03:28 · 360 阅读 · 0 评论 -
实现分布式应用的(主节点HA)及客户端动态更新主节点状态
实现分布式应用的(主节点HA)及客户端动态更新主节点状态某分布式系统中,主节点可以有多台,可以动态上下线任意一台客户端都能实时感知到主节点服务器的上下线 A、客户端实现public class AppClient {private String groupNode = "sgroup";private ZooKeeper zk;private Sta原创 2018-01-22 15:11:37 · 658 阅读 · 2 评论 -
日志流实时监控
日志流实时监控题目:基于Spark Streaming实现流处理 使用Spark Streaming、Kafka等实现日志流处理功能,可以捕获新应用日志的生成,采用流处理,对日志中存在的ERROR数据进行统计和告警 日志格式可以自己定义,可以参考正常log4j生成的日志格式。 题目分析如下:功能要求:实现实时error级别日志的统计,并作出相应处理框架要求:结合sparks原创 2018-02-04 18:07:55 · 3864 阅读 · 1 评论