大数据
vincent_nkcs
nkcs coder
展开
-
Storm学习笔记(一)
1 Storm介绍 Storm是开源的分布式实时大数据处理框架,用于信息流处理和持续性计算。 技术 延迟性 开发难度 本质 Storm 毫秒级 较难 流计算,逐行或逐批次计算。按行数处理。 Spark Streaming 数十秒或分钟 简单 按短小时间片段的批处理,比如2s一个时间片。按时间片处理。 Jstorm是阿里基于storm在网络io、线程模型、资源调度、可用性及稳...原创 2019-07-01 23:11:19 · 199 阅读 · 3 评论 -
ZooKeeper学习笔记(一)
一 zookeeper简介 ZooKeeper,简称zk,一个分布式协调服务的开源框架,分布式小文件存储系统,主要用来解决分布式集群中应用系统的一致性问题,例如怎样避免同时操作统一数据造成脏读的问题。 二 特性 全局数据一致:无论客户端连接到哪个服务器查看到的数据都是一致的。 可靠性:如果消息被其中一台服务器接受,那么将被所有的服务器接受。 顺序性:包括全局有序和偏序两种:全局有序是指如果一台服...原创 2019-06-27 00:53:10 · 180 阅读 · 0 评论 -
zookeeper学习笔记(二)
六 ZooKeeper Shell 客户端连接 ` zkCli.sh -server {ip}` 创建节点 create [-s] [-e] {path} {data} {acl} -s表示序列化,-e表示临时节点,若不指定则表示持久节点,path为节点路径,data为数据,acl用来进行权限控制。 zookeeper为自带节点。 读取节点 ls / ls {path}查看指定节点下的第一级所有...原创 2019-07-14 12:31:15 · 131 阅读 · 0 评论