这是实时流处理的一般架构,我们在手机或者是网站上的访问或搜索操作都会有一条日志信息记录到WebServer上,之后我们
借助日志收集框架Flume把实时的日志收集过来,再通过消息队列Kafka传入到Spark/Storm,这里的Kafka起到一个缓冲作用,业务逻辑完成后,将结果写入到数据库中,最后通过前端可视化把结果展示。
这是实时流处理的一般架构,我们在手机或者是网站上的访问或搜索操作都会有一条日志信息记录到WebServer上,之后我们
借助日志收集框架Flume把实时的日志收集过来,再通过消息队列Kafka传入到Spark/Storm,这里的Kafka起到一个缓冲作用,业务逻辑完成后,将结果写入到数据库中,最后通过前端可视化把结果展示。