- 博客(3)
- 收藏
- 关注
原创 Kafka集群安装使用
Kafka介绍Kafka是一种高吞吐量的分布式发布订阅消息系统,有如下特性: 通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。 高吞吐量:即使是非常普通的硬件kafka也可以支持每秒数十万的消息。 支持通过kafka服务器和消费机集群来分区消息。 支持Hadoop并行数据加载。 Kafka的目的是提供一个发布订阅解决方案,它可以处理消费者规模
2016-06-04 17:59:46 12374 6
原创 zookeeper集群配置
说明Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。几乎所有常见的分布式框架都需要zookeeper。ZooKeeper本身可以以Standalone模式安装运行,不过通过分布式ZooKeeper集群(一个Leader,多个Follower),一
2016-06-04 17:53:04 678
原创 SSH免密码登录
说明为了方便地管理集群,不管是Hadoop、Storm、Spark,还是Kafka等各类分布式框架的集群,几乎都需要配置SSH免密码登录,且在集群搭建过程中几乎都是第一步,本文也不例外,介绍下How-to. 本文集群三台机器,/etc/hosts文件内容如下: 172.23.8.144 slave1 172.23.8.179 slave2 172.23.8.59 slave3
2016-06-04 17:44:29 658
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人