重点技术-20170629-基于阿里云的计算场景应用解决方案

批量计算(离线计算,60s以上),LogTail + LogHub + LogShipper + OSS + Hive + SparkSQL
批量计算重在采集,使用LogTail配置好采集规则,通过LogShipper自动投递到OSS,使用Hive直接加载形成数据仓库,在Zeppelin界面上通过SparkSQL直接查询Hive中的数据,整个ETL的过程十分流畅,几乎不用写任何代码。


交互式计算(在线分析,100ms-1s),LogTail + LogHub + Storm + HBase + Phoenix
对于响应时间要求更严格的OLAP(联机分析处理)业务,可以以HBase为中心构建OLAP数据库,为了缩短数据可用的周期,可以单独一条通道。使用LogTail采集,并将LogHub中的数据对接到Storm上,使用Storm进行转换并写入HBase,然后在Zeppelin的界面上使用Phoenix进行查询。


实时计算(接口请求,100ms),Servlet + 消息队列MQ + Spark Streaming + Redis
对于实时竞价等实时计算业务,可以充分利用MQ的超快响应(1ms以内)、超大并发的特性,通过Spark Streaming进行计算,最后存储到Redis中。


备注:

    Hive:加载离线数据(如OSS-->形成数据仓库-->SparkSQL查询

    HBase:是一种在Hadoop之上的NoSQL Key/vale数据库,主要用于在线分析。

    HiveHBase的使用:针对离线分析来说,可以考虑Hive on OSS的模式,来存储近一年的数据。针对在线分析的场景,使用HBase存储近三个月的数据,这个方案可以多表联查。如果希望响应时间恒定,可以考虑基于索引的方案,即日志服务,缺点就是不能多表联查。

    OLAP:联机分析处理是一种软件技术,它使分析人员能够迅速、一致、交互地从各个方面观察信息,以达到深入理解数据的目的。

    Phoenix:它相当于一个Java中间件,帮助开发者,像使用jdbc访问关系型数据库一样,访问NoSql数据库HBase

    Apache Zeppelin:一个基于web的笔记本,支持交互式数据分析。可以用SQLScala等做出数据驱动的、可交互的、可协作的文档。可实现你所需要的:数据采集、数据发现、数据分析、数据可视化和协作。

    Storm:对于需要处理大量消息流的实时系统来说,消息处理始终是实时计算的基础,消息处理的最后就是对消息队列和消息处理者之间的组合。消息处理的核心是如何在消息处理的过程中不丢失数据,而且可以使整个处理系统具有很好的扩展性,以便能够处理更大的消息流。而Storm 正好可以满足这些要求。

    Spark Streaming:是对核心Spark API的一个扩展,它能够实现对实时数据流的流式处理。支持从多种数据源提取数据,如:KafkaFlumeTwitterZeroMQKinesis以及TCP套接字,并且可以提供一些高级API来表达复杂的处理算法,如:mapreducejoinwindow等。最后,Spark Streaming支持将处理完的数据推送到文件系统、数据库或者实时仪表盘中展示。

    LogHub:日志采集(Logtail\API\云产品\其他)、日志消费(Spark Streaming\Storm\Consumer Lib\SDK订阅)

    LogShipper:日志投递(OSS\MaxCompute

    LogSearch:日志查询;支持关键词、模糊、跨 Topic 查询及上下文查询

    日志服务-项目Project:日志服务中的资源管理单元,用于资源隔离和控制。

    日志服务-日志库LogStore:一个项目有多个日志库,一个日志库只属于一个项目。如一个项目中有三个日志库操作日志(operation_log)、应用程序日志(application_log)以及访问日志(access_log)。

    日志服务-分区Shard:每个日志库可分为多个分区;分区按MD5取值划分,每个分区可提供的服务能力有限(写入5MB/s2000/s;读取10MB/s100/s)。

    日志服务-主题Topic:用户可在写入日志时指定主题,并在查询时指定主题,空字符串是一个有效的日志主题。

    日志服务-日志组Group:日志写入的最小单位。

    日志服务-日志:一个日志组包含多条日志。

阅读更多

扫码向博主提问

TonyTonyYang

专业提供人工智能、区块链、大数据方案
去开通我的Chat快问
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/namelessfighter/article/details/80659025
个人分类: 重点技术
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭