JobsLee' Blog

一 研究相关技术高可用的集群产品，一直以来作为主机系统的保护方案，通常实现的是双机容错的集群方案，以多节点集群为代表性的多为国外厂商，技术难点是多机环境下的心跳检测机制的设计和故障迁移的设计。在我的论文之以zookeeper技术来实现多机环境下的心跳检测和故障迁移。1.心跳检测机制对失效节点的检测，对网络状态，节点状态，软件状态，存储状态进行实时的检测。失效检测是所有高可用的基础。集群

操作系统是集群支持的底层软件，提供集群所需的网络环境和文件系统等等，根据应用系统的不同提供应用系统所必须的设备和相关环境。这个构造集群环境说必须的，每个节点运行独立的操作系统。集群软件构件于操作系统之上，可以监视集群服务器的软硬件的工作状态，完成系统的宕机时服务的切换，保证系统的可靠性运行。1.监视每个节点的运行状态，并且在共享存储的磁盘上专门划一个区该集群服务的数据和日志信息。2.提供并

1.心跳机制在基于投票的心跳模型中，每个节点之间传递心跳信息，每个节点维护着集群中各节点的”心跳状态表”，假设集群中有M个节点，节点Ni采用UDP套接字以点对点的方式向所有远程节点发送心跳信息，每隔一段的时间（心跳周期），Ni节点检测每个节点的信息到达情况，并且将每个节点到达的心跳信息保存在心跳状态表中。。2.基于投票失效的判断设计思想那么从某一个节点的角度来看如何对其他的节点进行判断

1.哪些公司在使用该框架呢？Facebook ，美团等公司已经使用了flume为框架收集日志的系统，可以提供给Hadoop平台离线的数据，也可以为storm和spark提供实时的数据。2.成熟的flume有哪些特点呢？必须具备可靠性，可用性，可扩展性这几个特点。可用性体现在flume提供了自下而上的传输机制，实时数据分层管理，分层传输，用户可以自行添加所需要的节点，并且在每一层都具

1.flume简单介绍flume把收集的这些大量的日志数据传输给指定目标的数据仓库中，flume支持多种不同的数据源，比如控制台，文本文件，系统日志文件等等，同时也支持多种目标的数据存储系统，比如数据库系统，文本文件，分布式文件系统等等。flume的传输方式是以数据流做为传输的载体。其本质就是做为一个数据传输的通道，把数据从初始端传输到目的端等，如下图为数据流模型。agent是

数据收集系统是基于应用服务器日志的数据收集系统，其目标就是实现数据的收集，预处理，分析进而展示的过程。使用各种产品进行数据展示的过程。在分布式的系统当中，日志中的同一服务器可能会记录多种多样的日志，同一个日志会记录在不同的服务器上。对于flume方式，每一台服务器上面会记录多种多样的日志，对于同一个APP1，会为其配置多个接收数据的agent来接收不同类型的日志文件。对于APP1和APP2中产生同

转载：http://blog.csdn.net/xcbeyond/article/details/456272471.程序实现目标： 输入一个字符串，将其各个字符对应的ASCII值加5后，输出结果。    程序要求：该字符串只包含小写字母，若其值加5后的字符值大于'z',将其转换成从a开始的字符。[java] view plain copy