- 博客(4)
- 收藏
- 关注
RSS订阅原创 Kafka简述
小结：Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机...
2018-06-26 10:09:42
10476
原创 Azkaban 安装、使用以及遇到的问题
Azkaban 一个批量工作流任务调度器，使用Java语言开发。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。一：Azkaban介绍以及安装（3.X）二：Azkaban的使用三：使用Azkaban时所遇到的问题记录Cannot request memory (Xms 0 kb, ...
2018-06-25 09:38:18
9843
原创 Kafka API
小结：创建两个或多个数据文本文件，利用多线程同时发送及接受ProducerMap<String,Object> config = new HashMap<String, Object>(); config.put("bootstrap.servers","Kafka集群所在IP:9092"); config.put("key.seriali...
2018-06-24 16:37:59
9422
原创 Kafka（ZK）安装部署
小结： 本篇博客，介绍三种安装Kafka的方式，分别为：单节点单Broker部署、单节点多Broker部署、集群部署（多节点多Broker）。实际生产环境中使用的是第三种方式，以集群的方式来部署Kafka。 Kafka强依赖ZK，如果想要使用Kafka，就必须安装ZK，Kafka中的消费偏置信息、kafka集群、topic信息会被存储在ZK中一、Kafka 单节点部署Kafk...
2018-06-24 16:22:31
13780
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人