Kafka&akka
文章平均质量分 76
ae5555
这个作者很懒,什么都没留下…
展开
-
Spark内部通信/akka
Spark的Client、Master、Worker之间的通信使用akka完成。 模块之间的通信机制可以分为基于消息的传递和基于资源共享的同步机制。 在Spak中的Client、Master和Worker实际上都是一个actor。原创 2015-07-22 16:34:16 · 1544 阅读 · 0 评论 -
akka使用
Akka可以以两种不同的方式来使用 (1)以库的形式:在web应用中使用,放到WEB-INF/lib中或者作为一个jar包放进classpath。 (2)以微内核的形式:将应用放进一个独立的内核中。 微内核 要运行微内核,将应用的jar包放到deploy目录下运行bin目录下的脚本。 依赖包 akka-actor_2.11-2.3.6.jar scala-libr原创 2015-07-22 16:32:34 · 941 阅读 · 0 评论 -
Kafka(1)
Kafka是一个分布式的消息系统。 系统结构 Broker Kafka集群包含一个或多个服务器 Producer 发送消息到broker Consumer 从broker读取消息 kafka使用Zookeeper控制分布式服务协调同步。 消息分发与管理 kafka使用topic原创 2015-07-23 15:07:16 · 418 阅读 · 0 评论 -
kafka(2)
安装 安装Kafka首先要安装配置zookeeper。 配置 server.properties 配置项: broker.id broker在集群中唯一的标识,要求是正数。 num.network.threads=4 broker处理消息原创 2015-07-23 13:56:42 · 423 阅读 · 0 评论 -
Zookeeper(1)
单机模式 tickTime=2000 dataDir=/data clientPort=2181 集群模式 在单机模式基础上增加几个配置项。 //Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器)初始化连接时最长能忍受多少个心跳时间间隔数 initLimit=5 // Leader 与 Follower 之间发送消息,请求和应答时间长度,最原创 2015-07-23 19:52:50 · 348 阅读 · 0 评论 -
zookeeper(2)
Leader Election 客户端可以连接到每个server,每个server的数据完全相同。每个follower都和leader有连接,接受leader的数据更新操作。Server记录事务日志和快照到持久存储。大多数server可用,整体服务就可用。 Zookeeper服务自身组成一个集群(2n+1个服务允许n个失效)。Zookeeper服务有两个角色,一个是lead原创 2015-07-23 20:10:29 · 343 阅读 · 0 评论