数据创新平台介绍
荣之联DataZoo大数据平台,以开源ApacheHadoop为基础,开发出五大引擎能力:批处理、实时流处理、多维搜索、图计算与数据挖掘。五大引擎涵盖了大数据应用的各方面场景,是平台通用大数据能力的体现。基于DataZoo,荣之联将为客户提供端到端的大数据解决方案,为企业发掘数据价值、辅助业务决策、加速数据应用落地提供可靠支撑,最终帮助企业实现数字化运营的目标。
数据创新案例分享
——荣之联证券行业交易日志分析平台
1.案例背景介绍和行业痛点分析
依据证券监管机构对证券公司开展网上证券交易业务的相关要求,促进网上证券交易业务的健康有序发展,网上交易系统的日志必须长期保存,用于配合监管机构查阅客户相关的交易行为和系统故障的事后排查。
网上交易日志中不仅包含系统的运行状态信息,并且包含海量的客户行为信息。建设一套网上交易日志分析平台,对网上交易日志在盘中/盘后实现实时的采集、解析,不仅能够及时反映网上交易系统的健康状况,并且可以根据客户的交易行为对业务风险、异常交易等进行实时预警,提高网上交易系统的事前预警能力和事后故障的排查和恢复速度,实现多维度立体化的监控。
证券行业现状痛点分析
网上交易事务机运维管理问题:
分散在全国各地的网上交易事务机响应状态、在线连接数等技术指标无法实时监控,如:委托请求无响应的服务器假死状态无法及时获知。
资金账号的异常行为监管问题:
资金账号的异常登录、委托等请求,无法实时预警和分析其异常行为。
配合证券监管机构的合规检查:
面对证券监管机构的合规检查在某些方面无法做到及时响应,如:日志查询。
基于海量日志数据的分析应用:
无法应对PB级海量日志数据的分析应用。
全系统数据的大集中管理应用:
尚未实现网上交易、手机交易、开户等全系统的日志数据大集中管理与分析应用,不能有效发挥数据的最大作用。
2.荣之联证券行业交易日志分析平台解决方案
依托于荣之联大数据技术团队和自主研发的大数据产品,结合证券行业专家经验,我们为证券公司提供交易日志分析平台解决方案,致力于利用数据分析和挖掘技术,洞察隐藏在数据背后的关联关系,帮助证券行业客户搭建实时的监控和分析平台,开拓企业在互联网时代快速发展的新思路,创造更多更深层次的业务价值。
解决方案特点:
1.实时性
从日志数据产生时刻采集、勾对、解析、保存至数据中心到最终的页面展现,系统实现秒级响应。
2.完整性
采用分布式计算集群环境,多份完整拷贝,保障数据完整性。
3.安全性
通过使用非对称加密算法、SSL/TLS协议等技术措施,保证数据安全性。
4.稳定性/可靠性
基于成熟的、经过实践验证稳定可靠的Hadoop技术组件,易横向扩展。
软件系统架构
数据流逻辑图
实施网络拓扑
核心技术介绍
荣之联蚂蚁大数据多维检索软件是针对海量数据交互式分析需求而自主研发的基于Spark的秒级响应交互式分析平台,旨在解决在数据总量为万亿级别、每天千亿级别数据增量的项目提供秒级的数据实时导入,并提供实时响应的多维查询与统计服务。在单表万亿级数据、万级维度的量级下,用户可以在该平台上进行任意维度组合、任意层级下钻等分析作业,但结果响应只需要在数秒以内。
超低时延:分析结果一触即发
分析特性:任意维度组合分析、实时下钻分析、外部数据关联
存储特性:嵌套列存储,计算过程不加载多余数据
强扩展性:支持横向纵向任意扩展
数据时效性:实时+离线数据
3.案例实施取得的价值收益
为证券公司提供更完善的运维管理支持,实现网上交易事务机各技术指标的实时监控,针对假死、宕机、恶意攻击等异常情况做到及时有效应对。
针对资金账号的各种异常情况的实时预警,协助及时发现异常的资金账号,做出更加有效的管控和处理。
秒级的日志查询,配合监管机构的日志查询等合规检查要求或客户请求,快速响应。
相关应用
实时预警与系统技术指标监控
系统业务指标监控
交易日志明细查询
关于荣之联
北京荣之联科技股份有限公司(002642.sz)成立于2001年,深圳中小板上市,是国内领先的信息技术公司,致力于融合云计算、物联网、大数据等创新技术,帮助企业完成核心业务的全面数字化和信息资源的创新应用。公司总部位于北京,目前在全国设有3个研发中心,9个分公司和9个办事处,并构建了覆盖全国的营销和服务网络。
在云计算领域,公司帮助客户整合已有的IT资产,实现数据中心和IT基础设施的集约化管理,引导企业级IT系统向私有云和混合云演化;在物联网领域,公司提供数据采集和接入产品,通过边缘计算和数据平台技术支持车联网、工业物联网、农业物联网的建设和运营;在大数据领域,公司提供分析引擎、数据产品以及不同行业的业务解决方案。在生命科学和医疗健康领域,公司依托自有的基因分析算法提供快速分析和解读软件,依托生物数据平台构建了面向整个行业的生物云和健康云。
多年以来,公司坚持以产品创新为本,以贴近客户为纲,凭借技术优势深度耕耘能源、电信、金融、制造、政府、生命科学等六大行业,始终以推动企业进步为使命,不断通过业务转型和战略变革为客户、员工、股东和合作伙伴创造价值。
“中国数据创新琅琊榜”活动,面向各行业进行数据应用创新的企业,广征案例,择优推广。无论是数据初创企业,还是开展数字化转型的传统企业;无论是大数据行业,还是金融、教育、医疗等垂直行业,均可报名参加评选。
《大数据周刊》希望通过此次活动,让企业数据创新项目实现网状覆盖的最大化传播效果,用媒体声量推动大数据创新发展,并通过领袖意见及经典案例引发深思,进一步引爆数据正在喷薄而出的无穷力量!
如果你们是一家拥有独特创新能力的公司;
如果你们在数据与产品融合方面有成功案例;
如果你们有优秀的大数据解决方案;
如果你们有成熟的大数据展示平台;
如果你们的数据创新思维具有颠覆性标志;
如果你们开展了成功的数字化转型……
快快联系上面活动小助手吧!
大数据周刊
邮箱:tougao@bigdatamag.cn
电话:010-57524293
众论大数据 引领大时代
长按二维码关注