Kafka+Storm+Elasticsearch整合实时数据分析实践
概述由于最近一个报文调阅系统的需求,在需求重,可能会涉及到报文数据的清洗落地,数据来源由网络爬虫实现(初步采用python scrapy实现),通过python-kafka发送MQ消息至本系统kafka服务,接收到消息后基于storm的KafkaSpout实现对数据的处理后统一落地至ES,详细流程如下图: 环境准备由于环境有限,测试环境只提供了一个本地环境,即所有基于集群部署的服务...
原创
2018-09-04 10:46:46 ·
5404 阅读 ·
5 评论