distribution system
captain_hwz
安全打杂专业户
展开
-
分布式日志分析系统构建实战(三)——Kafka
介绍生产者-消费者模型是系统架构中最常用的一种模型了,它在对于降低耦合度方面有着极大的作用。而一条消息从生产者出发到被消费者接受的过程中,是由消息队列来管理的。而消息队列就是用来对消息进行存储和分配,在多个生产者和消费者同时工作时,还要考虑读写冲突等线程安全问题。所以说,消息队列对于生产者-消费者模型的稳定性和可靠性方面起着至关重要的作用。对于这样一种经典的模型,消息队列的开源框架自然不在少数,例如原创 2016-02-05 15:10:17 · 4412 阅读 · 0 评论 -
分布式日志分析系统构建实战(一)——概述
日志分析日志分析是每个互联网公司业务流中不可缺少的一部分,从海量数据中,可以分析用户的行为,从而运用到智能预测或者异常检测当中去。相比与传统的大数据分析(如用户物品评分预测),日志分析具有这么几个特征:数据是动态的。传统的大数据分析,往往是基于已有的数据去进行处理,这些数据都是固定不变的。而对于日志分析,只要产品还在运营,日志就会源源不断的产生,很难去规定一个节点去进行静态的处理分析。因此,以ha原创 2016-02-01 17:45:07 · 5898 阅读 · 0 评论 -
分布式日志分析系统构建实战(二)——ZooKeeper
在由kafka+storm搭建起来的日志分析系统中,ZooKeeper属于中流砥柱的作用。因此,在这里,先从实践的角度来介绍一下ZooKeeper以及相关的配置问题。介绍简而言之,ZooKeeper是用来为分布式系统提供一个统一的配置信息管理平台。在分布式系统的各个机器之间,都会有一些关键的节点信息需要暴露给其他机器,这样才能达到协作的效果。而使每个机器获取到相同的信息,这就是ZooKeeper的作原创 2016-02-02 12:08:44 · 1495 阅读 · 0 评论 -
分布式日志分析系统构建实战(四)——Storm
介绍Storm是一个实时并行计算系统。对比与经典的hadoop,storm的优势就在于实时性。简单来说,hadoop可以用来对海量的数据进行批量的处理,但这些数据是静态的,处理过程中不会对新产生的数据进行处理。当处理完之后,hadoop进程就可以结束,并输出最终结果。而storm的进程会持续的运行,不存在一个终结状态。一旦有新的数据到来,storm就出对其进行处理,然后继续等待其他的数据。而我们可以原创 2016-02-15 18:29:50 · 3776 阅读 · 0 评论 -
使用High Level Consumer连接Kafka
使用High Level Consumer连接Kafka。简述了java中High Level Consumer的原理,技巧和使用方法,示例完整,结构清晰。翻译 2016-04-11 15:16:06 · 4248 阅读 · 0 评论 -
kaka-manager和kafka-offset-monitor的安装和使用
由于kafka本身不提供ui操作界面,操作起来只提供了有限的几个脚本,所以使用起来对其本身的运行状态无法感知。但是,kafka本身是和zookeeper相连的,而对应producer和consumer的状态保存也都是通过zookeeper完成的,因此,可以通过读取zookeeper中的信息来构建出kafka的状态。另外,kafka本身也提供了一个JMX服务端口,来供外界查询当前的状态。这样一个明显的原创 2016-03-25 18:10:37 · 11017 阅读 · 4 评论 -
MySQL优化浅析
场景简介最近在使用Storm做日志的分析处理。众所周知,Storm是流式的处理框架,也就是每次只能处理和看到一条日志。然而做分析的时候,不可避免的要进行一些统计操作,如统计一分钟内某个ip的访问频率或者某个uid的访问频率等。于是我就会在内存中(也就是某些特定的Bolt中),维护一个HashMap队列,用来存储之前一段时间的日志列表。这个做法在日志量较小,且统计时间较小的情况下是没有任何问题的。然而原创 2017-08-23 11:33:18 · 506 阅读 · 0 评论 -
设计模式:Service Mesh
自动数十年前,分布式系统的概念诞生以来,工程师们越来越明白,利用分布式系统可以完成许多意想不到的功能。但是,分布式系统同样带来了许多新的问题。当分布式系统还未普及,相对比较简单的时候,工程师们通过最小化远程依赖来应对其带来的复杂度。解决分布式问题最简单的方式就是尽可能的避免它,即时会带来大量跨系统的重复逻辑和数据也在所不惜。但是工业化的进程推动着我们不断进步:从前只是几个大型的中央服务器,到现在成百翻译 2018-02-09 16:16:50 · 1372 阅读 · 1 评论