在前进的路上

我相信人之所以能,因为相信能

排序:
默认
按更新时间
按访问量

Storm(六):数据流的分流与合流

Storm 对数据处理时,不同的数据交给不同的bolt来处理,然后处理好的数据传给同个bolt来存储到数据库,这时就需要分流与合流,我们通过一个例子了解分流与合流。

2017-06-11 11:19:18

阅读数:852

评论数:0

Storm(五)拓扑并行度

Apache Storm分布式集群主要节点由控制节点(Nimbus节点)和工作节点(Supervisor节点),一个工作节点运行一个或者多个Worker 进程,Worker 是Topology的子集,Topology对应一个或者多个Worker 。 Topology主要是由Worker 、Ex...

2017-06-11 11:02:32

阅读数:518

评论数:0

Storm(四):容错机制

Apache Storm分布式集群主要节点由控制节点(Nimbus节点)和工作节点(Supervisor节点),在集群下,怎么保证拓扑的可靠性,storm提供哪些容错机制?

2017-06-11 10:25:18

阅读数:996

评论数:0

Storm(三):Storm入门Demo

我们前面的文章对Apache Storm 是一个开源的分布式、实时、可扩展、容错的计算系统的基本知识进行熟悉之后,我们通过Storm简单的例子把应用跟基础知识结合起来。 Storm的Topology是一个分布式实时计算应用,它通过Stream groupings把spouts和Bol...

2017-06-11 10:04:34

阅读数:3271

评论数:2

Storm(二):集群部署配置

Apache Storm分布式集群主要节点由控制节点(Nimbus节点)和工作节点(Supervisor节点),控制节点可以一个,工作节点多个组成的,而Zookeeper主要负责Nimbus节点和Supervisor节点之间的协调工作。介绍安装部署storm集群,并且Storm ui是storm集...

2017-06-10 23:39:14

阅读数:1379

评论数:0

Storm(一) :基础知识

Apache Storm 是一个开源的分布式、实时、可扩展、容错的计算系统。Apache Storm Storm可以很容易做到可靠地处理无限的数据流,像Hadoop批量处理大数据一样。Storm处理速度很快,每个节点每秒钟可以处理超过百万的数据组。 Apache Storm应用的场景...

2017-06-10 23:13:32

阅读数:897

评论数:0

Kafka(二): Kafka 集群部署与使用

Kafka是一种分布式的发布(producer)/订阅(consumer)的消息系统,并支持实时和离线的数据处理、可扩展、持久的。上一次已经对kafka做了介绍,今天我们介绍如何部署、创建主题并发布消息和订阅消息。

2017-05-21 10:12:28

阅读数:993

评论数:0

Kafka(一): Kafka 入门

Kafka是一种分布式的发布(producer)/订阅(consumer)的消息系统,并支持实时和离线的数据处理、可扩展、持久的。Kafka Server 是分布式部署(Broker),Kafka 的消息(Topic)存储在Kafka Server上并以Topic进行分类的,而且可以设置消息(To...

2017-05-14 08:47:49

阅读数:826

评论数:0

Titan (一):gremlin.sh 出现错误:java.lang.VerifyError

运行gremlin console 连接hbase+elastricseach 测试操作titan,titan运行的环境是jdk1.8,Linux环境有安装了jdk1.8.0_11环境,符合titan所需的jdk1.8环境,运行./bin/gremlin.sh 报错了,运行不起来。

2017-02-07 21:53:06

阅读数:742

评论数:0

Hadoop 2.5.2+hbase1.0.0+zookeeper 3.4.6 集群安装配置

HDFS采用master/slave架构,一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。Namenode是一个中心服务器,负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。集群中的Datanode一般是一个节点一个,负责管理它所在节点上的存储。H...

2016-11-05 12:45:12

阅读数:1640

评论数:0

Linux 虚拟机:Network error: Connection refused 排查

我在自己电脑安装了Linux 虚拟机,然后设置了Linux 虚拟机IP,windows上能正常ping 通Linux 虚拟机上IP,采用了FileZilla连接Linux 虚拟机,出现错误: Network error: Connection refused 无法连接到服务器。

2016-10-29 19:10:28

阅读数:11130

评论数:0

Spring Data MongoDB七:进阶Aggregation操作(下)

上一篇已经Aggregation 做了很详细的介绍,这边就不在介绍,Spring Data MongoDB 项目提供与MongoDB文档数据库的集成,Spring Data MongoDB 提供org.springframework.data.mongodb.core.MongoTemplate...

2016-10-15 10:31:38

阅读数:9577

评论数:1

Spring Data MongoDB 六:进阶Aggregation操作(上)

1、db.collection.aggregate()可以多个管道,能方便的进行数据的处理。 2、db.collection.aggregate()使用了MongoDB内置的原生操作,聚合效率非常高,支持类似于SQL Group By操作的功能,而不再需要用户编写自定义的JavaScr...

2016-10-15 09:36:04

阅读数:10018

评论数:0

Srping Data Redis 四:Srping Data Redis 入门

Spring Data Redis 提供Jedis,Jredis,rjc等客户端的封装,可以根据需求更换换客服端,使业务代码比较稳定性。 以及提供对连接池管理 (timeout、maxActive、maxIdle等参数),org.springframework.data.redis.connec...

2016-10-07 16:36:41

阅读数:1265

评论数:0

Redis 三:redis.conf 配置详细解析

# redis 配置文件示例   # 当你需要为某个配置项指定内存大小的时候,必须要带上单位, # 通常的格式就是 1k 5gb 4m 等酱紫: # # 1k  => 1000 bytes # 1kb => 1024 bytes # 1m  => 1000000 ...

2016-10-07 09:57:16

阅读数:887

评论数:0

Spring Data Redis 二:RedisTemplate实现事物问题剖析和解决

Redis为单进程单线程模式,采用队列模式将并发访问变成串行访问,Redis对事物支持不会很复杂,当一个客服端连接Redis服务时,发出了MULTI命令时,这个连接会进入事物,在执行MULTI命令之后,执行所有的命令都不会执行,会先放到一个队列中,会提示正在Query,当最后执行EXEC命令之后,...

2016-10-04 22:33:30

阅读数:13244

评论数:0

Redis 一:Linux下 安装Redis并配置服务

1、 Redis为单进程单线程模式,采用队列模式将并发访问变成串行访问。 2、 Redis不仅仅支持简单的k/v类型的数据,同时还提供list,set,zset,hash等数据结构的存储。 3、 Redis支持数据的备份,即master-slave模式的数据备份。 ...

2016-10-03 23:57:59

阅读数:7465

评论数:1

学习MongoDB 十二: MongoDB聚合(Aggregation Pipeline基础篇-下)(四)

上一篇我们对 db.collection.aggregate(pipeline, options)介绍,我们接下来介绍pipeline 参数和options参数的基础认识

2016-06-09 11:33:44

阅读数:8009

评论数:5

学习MongoDB 十一: MongoDB聚合(Aggregation Pipeline基础篇上)(三)

db.collection.aggregate()是基于数据处理的聚合管道,每个文档通过一个由多个阶段(stage)组成的管道,可以对每个节点的管道进行分组、过滤等功能,然后经过一系列的处理,输出相应的结果。

2016-06-09 10:47:10

阅读数:18918

评论数:0

学习MongoDB 十: MongoDB聚合(Map-Reduce)(二)

MapReduce要实现两个函数:Map和Reduce。Map函数调用emit(key,value)遍历一个或多个集合中所有的记录,进行分组(group by),然后将key与value传给Reduce函数进行处理,输出结果。 (1)MapReduce使用自定义Ja...

2016-05-21 17:57:36

阅读数:5966

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭