基础架构图

[img]
[img]http://dl2.iteye.com/upload/attachment/0113/2425/e5fedc7f-0570-3fe1-873f-1dbb3453a4f2.png[/img]
[/img]


这个架构主要的作用 数据洪流都被redis挡在外,大部分上报来的数据都是相差不大的。这个架构最大的优点就是 便宜,性价比高。
缺点:数据同步比较慢。要速度,同步性必然会受一些影响。大部分实时数据都存储在Redis中了。要一段时间后再指导入至DB。

将一些变化比较少的,但是比较敏感的数据实时写入至DB。所以我建议 DB和redis是平级。Redis只是DB的一个补充。不能当作一层来用。也不适合。
redis有很多功能。挡数据只是很小一部分。还可以做订阅、管道。而且还有单线程的特点。当我想拿实时数据时我可以很快的拿出来。而这些记日志都不能达到。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flume是一款分布式、可靠且可扩展的数据收集系统,由LinkedIn开发,主要用于日志收集和数据传输。其基础架构主要包括以下几个关键组件: 1. **Source(源)**:Flume的源头,负责从各种源(如日志文件、HTTP请求、JMX监控等)获取数据。常见的源有FileSource(文件)、SocketSource(网络监听)和JMSSource(消息队列)。 2. **Channel(通道)**:数据从源到达目的地的中转站。Flume提供了几种类型的通道,比如Memory Channel(内存缓冲)、File Channel(持久化到文件)和 JDBC Channel(将数据发送到数据库)。它们用于临时存储数据直到被Sink消费。 3. **Sink(sink)**:数据最终的目的地,可以是HDFS、HBase、Solr、Kafka、Graphite等。每个Sink负责将数据写入指定的目标存储或处理系统。 4. **Agent(代理)**:Flume的核心执行单元,由一个或多个Source、Channel和Sink组成。每个Agent是独立运行的,但它们可以被配置成并行或串联执行,形成一个数据管道。 5. **Configuration(配置)**:Flume的运行依赖于配置文件,定义了各个组件之间的连接和参数设置。这些配置文件通常包含Source、Channel和Sink的类型、位置以及数据传递的策略。 6. **Sinks和Sources的关系**:数据从Source开始,通过Channel进行缓存和路由,然后进入相应的Sink。这种灵活的架构使得Flume能够适应多种数据处理场景。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值