Kafka&akka
关注
分享
扫一扫
文章平均质量分 76
ae5555
这个作者很懒，什么都没留下…
展开
-
Spark内部通信/akka
Spark的Client、Master、Worker之间的通信使用akka完成。模块之间的通信机制可以分为基于消息的传递和基于资源共享的同步机制。在Spak中的Client、Master和Worker实际上都是一个actor。原创 2015-07-22 16:34:16 · 1568 阅读 · 0 评论 -
akka使用
Akka可以以两种不同的方式来使用(1)以库的形式：在web应用中使用，放到WEB-INF/lib中或者作为一个jar包放进classpath。(2)以微内核的形式：将应用放进一个独立的内核中。微内核要运行微内核，将应用的jar包放到deploy目录下运行bin目录下的脚本。依赖包akka-actor_2.11-2.3.6.jarscala-libr原创 2015-07-22 16:32:34 · 958 阅读 · 0 评论 -
Kafka(1)
Kafka是一个分布式的消息系统。系统结构Broker Kafka集群包含一个或多个服务器Producer 发送消息到brokerConsumer 从broker读取消息kafka使用Zookeeper控制分布式服务协调同步。消息分发与管理kafka使用topic原创 2015-07-23 15:07:16 · 426 阅读 · 0 评论 -
kafka(2)
安装安装Kafka首先要安装配置zookeeper。配置server.properties配置项:broker.id broker在集群中唯一的标识，要求是正数。num.network.threads=4 broker处理消息原创 2015-07-23 13:56:42 · 432 阅读 · 0 评论 -
Zookeeper(1)
单机模式tickTime=2000dataDir=/dataclientPort=2181集群模式在单机模式基础上增加几个配置项。//Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数initLimit=5// Leader 与 Follower 之间发送消息，请求和应答时间长度，最原创 2015-07-23 19:52:50 · 355 阅读 · 0 评论 -
zookeeper(2)
Leader Election客户端可以连接到每个server，每个server的数据完全相同。每个follower都和leader有连接，接受leader的数据更新操作。Server记录事务日志和快照到持久存储。大多数server可用，整体服务就可用。Zookeeper服务自身组成一个集群(2n+1个服务允许n个失效)。Zookeeper服务有两个角色，一个是lead原创 2015-07-23 20:10:29 · 354 阅读 · 0 评论