Storm(六):数据流的分流与合流

Storm 对数据处理时,不同的数据交给不同的bolt来处理,然后处理好的数据传给同个bolt来存储到数据库,这时就需要分流与合流,我们通过一个例子了解分流与合流。...
阅读(114) 评论(0)

Storm(五)拓扑并行度

Apache Storm分布式集群主要节点由控制节点(Nimbus节点)和工作节点(Supervisor节点),一个工作节点运行一个或者多个Worker 进程,Worker 是Topology的子集,Topology对应一个或者多个Worker 。 Topology主要是由Worker 、Executor、Task组成的,Topology对应一个或者多个worker(是一个独立的JVM 进程) ,worker 下又有多个Executor线程,Executor下对应一个或者多个Task,默认情况下一个Ex...
阅读(112) 评论(0)

Storm(四):容错机制

Apache Storm分布式集群主要节点由控制节点(Nimbus节点)和工作节点(Supervisor节点),在集群下,怎么保证拓扑的可靠性,storm提供哪些容错机制?...
阅读(103) 评论(0)

Storm(三):Storm入门Demo

我们前面的文章对Apache Storm 是一个开源的分布式、实时、可扩展、容错的计算系统的基本知识进行熟悉之后,我们通过Storm简单的例子把应用跟基础知识结合起来。 Storm的Topology是一个分布式实时计算应用,它通过Stream groupings把spouts和Bolts串联起来组成了流数据处理结构,Topologys在集群中一直运行,直到kill(storm kill topology-name [-w wait-time-secs]) 拓扑时扑才会结束运行。 ...
阅读(134) 评论(0)

Storm(二):集群部署配置

Apache Storm分布式集群主要节点由控制节点(Nimbus节点)和工作节点(Supervisor节点),控制节点可以一个,工作节点多个组成的,而Zookeeper主要负责Nimbus节点和Supervisor节点之间的协调工作。介绍安装部署storm集群,并且Storm ui是storm集群的监控页面,可以查看Nimbus、Supervisor分布情况以及状态等信息,方便我们管理Storm集群以及拓扑。...
阅读(164) 评论(0)

Storm(一) :基础知识

Apache Storm 是一个开源的分布式、实时、可扩展、容错的计算系统。Apache Storm Storm可以很容易做到可靠地处理无限的数据流,像Hadoop批量处理大数据一样。Storm处理速度很快,每个节点每秒钟可以处理超过百万的数据组。 Apache Storm应用的场景例如:实时分析、在线机器学习、连续计算、分布式RPC、ETL 等。...
阅读(151) 评论(0)

Kafka(二): Kafka 集群部署与使用

Kafka是一种分布式的发布(producer)/订阅(consumer)的消息系统,并支持实时和离线的数据处理、可扩展、持久的。上一次已经对kafka做了介绍,今天我们介绍如何部署、创建主题并发布消息和订阅消息。...
阅读(203) 评论(0)

Kafka(一): Kafka 入门

Kafka是一种分布式的发布(producer)/订阅(consumer)的消息系统,并支持实时和离线的数据处理、可扩展、持久的。Kafka Server 是分布式部署(Broker),Kafka 的消息(Topic)存储在Kafka Server上并以Topic进行分类的,而且可以设置消息(Topic)分区(partition),不会造成消息都存储在同一个磁盘从而导致磁盘空间慢的问题,同个partition里的数据是有顺序的(FIFO先进先出)。...
阅读(211) 评论(0)

Titan (一):gremlin.sh 出现错误:java.lang.VerifyError

运行gremlin console 连接hbase+elastricseach 测试操作titan,titan运行的环境是jdk1.8,Linux环境有安装了jdk1.8.0_11环境,符合titan所需的jdk1.8环境,运行./bin/gremlin.sh 报错了,运行不起来。...
阅读(224) 评论(0)

Hadoop 2.5.2+hbase1.0.0+zookeeper 3.4.6 集群安装配置

HDFS采用master/slave架构,一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。Namenode是一个中心服务器,负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。集群中的Datanode一般是一个节点一个,负责管理它所在节点上的存储。HDFS暴露了文件系统的名字空间,用户能够以文件的形式在上面存储数据。从内部看,一个文件其实被...
阅读(936) 评论(0)
76条 共8页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:384443次
    • 积分:3620
    • 等级:
    • 排名:第8756名
    • 原创:68篇
    • 转载:8篇
    • 译文:0篇
    • 评论:162条
    博客专栏
    最新评论