数据体系的四个层次:数据采集、数据计算、数据服务和数据应用

1.数据采集层


    客户端日志采集方案:Web日志采集技术方案和APP端日志采集技术方案。在采集技术基础之上,不同的业务场景会有与之相适应的埋点规范,来满足通用的浏览、点击、特殊交互、APP事件、H5 APP里的H5 Native日志数据打通等多种业务场景。高性能的数据传输:既包括数据库的增量数据传输,也包括日志数据的传输;既支持实时流式计算,也支持各种时间窗口的批量计算。同步中心:同步工具DataX,直连异构数据库(备库)来抽取各种时间窗口(每天、每小时)的数据。

 

2.数据计算层


    为了发挥出大数据的价值并最终赋能于商业和创造商业价值,必须对海量数据进行整合和计算,并从中洞察商业规律、挖掘出潜在信息。为此,从采集系统中收集到的大量原始数据,将进入数据计算层中被进一步整合与计算。这就需要一套数据存储及计算平台、数据整合及管理体系。

    数据计算层:数据存储及计算云平台(离线计算平台MaxCompute和实时计算StreamCompute);数据整合及管理体系(被称之为“OneData”)。MaxCompute离线大数据平台提供强大的存储和计算引擎;StreamCompute实时计算平台能够较好地支持流式处理需求。

    在OneData体系下,构建统一、规范、可共享的全域数据体系,避免数据的冗余和重复建设,规避数据烟囱和不一致性,充分发挥大数据海量、多样性方面的独特优势。借助这一统一化数据整合及管理的方法体系,构建了数据公共层,并可以帮助相似的大数据项目快速落地实现。

    从数据计算频率的角度,数据仓库分为离线数据仓库和实时数据仓库。离线数据仓库主要是指传统的数据仓库概念,数据计算频率主要以天(包含小时、周和月)为单位 ;比如通常在任务调度平台,每天凌晨处理上一天的数据。但是随着业务的发展特别是交易过程的缩短,用户对数据产出的实时性要求逐渐提高,逐渐有了实时数据仓库的应用需求和场景(比如双十一大屏)。

    数据仓库的数据加工链路遵循业界分层理念,包括操作数据层(Operational Data Store, ODS、明细数据层(Data Warehouse Detail , DWD)、汇总数据层(Data Warehouse Summary, DWS )和应用数据层(Application Data Store, ADS)。通过数据仓库不同层次之间的加工过程实现从【数据资产】向【信息资产】的转化,并且对整个过程进行【有效的】【元数据管理】及【数据质量处理】。

    

元数据模型整合及应用:

数据源元数据、数据仓库元数据、数据链路元数据、工具类元数据、数据质量类元数据等。

元数据应用主要面向数据发现、数据管理等,如用于存储、计算和成本管理等。

 

3.数据服务层


    数据服务层,通过接口服务化方式对外提供数据服务,以保证更好的性能和用户体验。针对不同的需求和数据应用场景,数据服务层的数据源架构在多种数据库之上,如MySQL、HBase等【RDS、表格存储( TableStore )】。

    数据服务可以使应用对底层数据存储透明,将海量数据方便高效地开放给集团内部各应用使用。现在,数据服务每天拥有几十亿的数据调用量,如何在性能、稳定性、扩展性等方面更好地服务于用户:如何满足应用各种复杂的数据服务需求:如何保证“双 11 ”媒体大屏数据服务接口的高可用……随着业务的发展,需求越来越复杂,因此数据服务也在不断地进化。

    数据服务层对外提供数据服务主要是通过统一的数据服务平台(方便阅读,简称为“OneService ”)。One Service 以数据仓库整合计算好的数据作为数据源,对外通过接口的方式提供数据服务,主要提供简单数据查询服务、复杂数据查询服务(承接集团用户识别、用户画像等复杂数据查询服务)和实时数据推送服务等特色数据服务。

 

4. 数据应用层


    数据已经准备好,需要通过合适的应用提供给用户,让数据最大化地发挥价值。数据应用表现在各个方面,如搜索、推荐、广告、金融、信用、保险、文娱、物流等。商家 ,集团内部的搜索、推荐、广告、金融等平台 ,集团内部的运营和管理人员等,都是数据应用方;ISV研究机构和社会组织等也可以利用开放的数据能力和技术。

    两类:对内数据平台和服务于商家的对外数据产品,还有其他数据应用。对内数据平台产品主要有实时数据监控、自助式的数据网站或产品构建的数据小站、宏观决策分析支撑平台、对象分析工具、行业数据分析门户、流量分析平台等。

    我们相信,数据作为新能源,为产业注人的变革是显而易见的。我们对数据新能源的探索也不仅仅停留在狭义的技术、服务和应用上。我们正在挖掘大数据更深层次的价值,为社会经济和民生基础建设等提供创新方法。

 

Reference:《大数据之路:阿里巴巴大数据实战》

  • 4
    点赞
  • 25
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据产业链概述全文共6页,当前为第1页。大数据产业链概述全文共6页,当前为第1页。大数据产业链概述 大数据产业链概述全文共6页,当前为第1页。 大数据产业链概述全文共6页,当前为第1页。 大数据定义 随着"云计算"、"互联网"、"物联网"的快速发展,大数据(Big Data)也吸引了越来越多的关注,成为社会热点之一。那么什么是大数据?从 2001 年"大数据"一词在 Gartner 的研究报告出现至今,业内对"大数据"一词的定义仍未统一。 Gartner 给出了这样的定义,"大数据"是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。麦肯锡全球研究所对"大数据"给出的定义是:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。国际数据公司(IDC)从大数据的 4 个特征来定义,即海量的数据规模 (Volume)、快速的数据流转和动态的数据体系(Velocity)、多样的数据类型(Variety)、巨大的数据价值(Value)。维基百科对"大数据"的定义是"无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合"。 大数据是一个宽泛的概念,见仁见智。上面几个定义,无一例外地都突出了"大"字。诚然,"大"是大数据的一个重要特征,但远远不是全部。贵阳大数据交易所认为,认识大数据,要把握"数据源、大数据硬件、大数据技术、大数据交易、大数据应用及衍生"等六个层次大数据是具有体量大、结构多样、时效强等特征的数据;处理大数据需采用新型计算架构和智能算法等新技术;大数据的交易需要对数据脱敏、定价,大数据应用强调以新的理念应用于辅助决策、发现新的知识,更强调在线闭环的业务流程优化。因此说,大数据不仅"大",而且"新",是新资源、新工具和新应用的综合体。 大数据产业链图谱 大数据产业链概述全文共6页,当前为第2页。大数据产业链概述全文共6页,当前为第2页。大数据产业链包括一切与大数据的产生与集聚(数据源)、组织与管理(存储)、分析与发现(技术)、交易、应用与衍生产业相关的所有活动。大数据产业链按照数据价值实现流程,包括数据源、大数据硬件支撑层、大数据技术层、大数据交易层、大数据应用层与大数据衍生层等六大层级,每一层都包含相应的 IT 硬件设施、软件技术与信息服务等。 大数据产业链概述全文共6页,当前为第2页。 大数据产业链概述全文共6页,当前为第2页。 数据数据源是大数据产业链的第一个环节,是大数据产业发展的基础。与国外的数据源区块相比,中国大数据产业中的数据源有着自身的特点。由于中国大数据流通在全社会还未形成规模,目前数据源区块主要集中在政府管理部门、互联网巨头、移动通讯企业等手中,具体有政府数据源提供商、行业数据源提供商、企业数据源提供商、互联网数据源提供商、物联网数据源提供商、移动通讯数据源提供商、第三方数据服务企业等等。 既然数据成为了重要的资源和生产要素,必然会产生供应与流通。随着新技术的不断发展,数据产生的方式也越来越多样。例如:人们每天使用的互联网和无限通讯,即时通讯、微信、微博、手机电话、短信、彩信甚至是每一个互联网点击(通过点击习惯可以分析经常浏览某类网站,喜欢某类商品,以及上网时间等使用习惯)都会留下记录,数据源将带来爆炸性的数据增长。同时随着各行业对大数据应用的重视,越来越多的企业将加入数据的生产和采集行业,数据源将进一步扩大。 大数据硬件支撑层 大数据硬件是指数据产生、采集、传输、存储、计算等一系列与大数据产业链相关的硬件设备。包含传感器、移动智能终端、各种有线/无线传输设备、存储设备、服务器、网络/ 安全设备等。 在大数据的柔性注入下,越来越多的硬件产品都打出"智能牌"。智能硬件逐渐改变人们日常生活的同时,还在用户无触发、无感知的情况下,24 小时不间断采集数据。可见, 智能硬件的发展将推动大数据第二波浪潮的到来。 但就大数据硬件的存储、服务器、网络安全等领域而言,国内目前缺少面向大数据的成熟系统,参与者多是正在试图转型的传统 IT 厂商,如华为、浪潮、联想、曙光等公司。 大数据产业链概述全文共6页,当前为第3页。大数据产业链概述全文共6页,当前为第3页。大数据技术层 大数据产业链概述全文共6页,当前为第3页。 大数据产业链概述全文共6页,当前为第3页。 大数据技术层指实现一切大数据采集与预处理、存储管理、大数据分析挖掘、大数据安全和大数据可视化的技术手段,是大数据价值实现的重要条件。 大数据采集与预处理技术 数据采集技术指从传感器和其它待测设备等模拟和数字被测单元中自动采集非电量或者电量信号,送到上位机中进行分析、处理的过程。数据采集技术可分
智慧城市:是指在城市发展过程中,在城市基础设施、资源环境、社会民生、经济产业、市政管理领域中,充分利用物联网、互联网、云计算、高性能计算、智能科学等新兴信息技术手段,对城市居民生活工作、企业经营发展和政府行使职能过程中的相关活动与需求,进行智慧地感知、互联、处理和协调,使城市构建成为一个由新技术支持的涵盖市民、企业和政府的新城市生态系统,为市民提供一个美好的生活和工作环境,为企业创造一个可持续发展的商业环境,为政府构建一个高效的城市运营管理环境。 智慧城市的应用方向很多,主要有: 1、智慧公共服务:建设智慧公共服务和城市管理系统。通过加强就业、医疗、文化、安居等专业性应用系统建设,通过提升城市建设和管理的规范化、精准化和智能化水平,有效促进城市公共资源在全市范围共享,积极推动城市人流、物流、信息流、资金流的协调高效运行,在提升城市运行效率和公共服务水平的同时,推动城市发展转型升级。 2、智慧城市综合体:采用视觉采集和识别、各类传感器、无线定位系统、RFID、条码识别、视觉标签等顶尖技术,构建智能视觉物联网,对城市综合体的要素进行智能感知、自动数据采集,涵盖城市综合体当中的商业、办公、居住、旅店、展览、餐饮、会议、文娱和交通、灯光照明、信息通信和显示等方方面面,将采集的数据可视化和规范化,让管理者能进行可视化城市综合体管理。 3、智慧政务城市综合管理运营平台:此类项目已有实际落地案例,天津市和平区的“智慧和平城市综合管理运营平台”包括指挥中心、计算机网络机房、智能监控系统、和平区街道图书馆和数字化公共服务网络系统四个部分内容,其中指挥中心系统囊括政府智慧大脑六大中枢系统,分别为公安应急系统,公共服务系统,社会管理系统,城市管理系统,经济分析系统,舆情分析系统,该项目为满足政府应急指挥和决策办公的需要,对区内现有监控系统进行升级换代,增加智能视觉分析设备,提升快速反应速度,做到事前预警,事中处理及时迅速,并统一数据、统一网络,建设数据中心、共享平台,从根本上有效的将政府各个部门的数据信息互联互通,并对整个和平区的车流、人流、物流实现全面的感知,该平台在和平区经济建设中将为领导的科学指挥决策提供技术支撑作用。 4、智慧安居服务。开展智慧社区安居的调研试点工作,在部分居民小区为先行试点区域,充分考虑公共区、商务区、居住区的不同需求,融合应用物联网、互联网、移动通信等各种信息技术,发展社区政务、智慧家居系统、智慧楼宇管理、智慧社区服务、社区远程监控、安全管理、智慧商务办公等智慧应用系统,使居民生活“智能化发展”。加快智慧社区安居标准方面的探索推进工作,为今后全市新建楼宇和社区实行智能化管理打好基础。 5、智慧教育文化服务:积极推进智慧教育文化体系建设。建设完善我市教育城域网和校园网工程,推动智慧教育事业发展,重点建设教育综合信息网、网络学校、数字化课件、教学资源库、虚拟图书馆、教学综合管理系统、远程教育系统等资源共享数据库及共享应用平台系统。继续推进再教育工程,提供多渠道的教育培训就业服务,建设学习型社会。继续深化“文化共享”工程建设,积极推进先进网络文化的发展,加快新闻出版、广播影视、电子娱乐等行业信息化步伐,加强信息资源整合,完善公共文化信息服务体系。构建旅游公共信息服务平台,提供更加便捷的旅游服务,提升旅游文化品牌。 6、智慧服务应用。组织实施部分智慧服务业试点项目,通过示范带动,推进传统服务企业经营、管理和服务模式创新,加快向现代智慧服务产业转型。①智慧物流:配合综合物流园区信息化建设,推广射频识别(RFID)、多维条码、卫星定位、货物跟踪、电子商务等信息技术在物流行业中的应用,加快基于物联网的物流信息平台及第四方物流信息平台建设,整合物流资源,实现物流政务服务和物流商务服务的一体化,推动信息化、标准化、智能化的物流企业和物流产业发展。②智慧贸易:支持企业通过自建网站或第三方电子商务平台,开展网上询价、网上采购、网上营销,网上支付等电子商务活动。积极推动商贸服务业、旅游会展业、中介服务业等现代服务业领域运用电子商务手段,创新服务方式,提高服务层次。结合实体市场的建立,积极推进网上电子商务平台建设,鼓励发展以电子商务平台为聚合点的行业性公共信息服务平台,培育发展电子商务企业,重点发展集产品展示、信息发布、交易、支付于一体的综合电子商务企业或行业电子商务网站。③建设智慧服务业示范推广基地。积极通过信息化深入应用,改造传统服务业经营、管理和服务模式,加快向智能化现代服务业转型。结合我市服务业发展现状,加快推进现代金融、服务外包、高端商务、现代商贸等现代服务业发展。 7、智慧健康保障体系建设。重点推进“数字卫生”系统建设。建立卫生服务网络和城市社区卫生服务体系,构建全市区域化卫生信息管理为核心的信息平台,促进各医疗卫生单位
金智成商贸通是金智计算机软件有限公司在多年行业经验的基础上,结合上万家客户的实际需求和国外先进的管理理念设计开发,专门针对中小型连锁企业的现代化信息管理系统。本系统以界面直观、操作简便适用范围:、功能清晰、使用快捷为主要特点,支持连锁及多业态经营管理模式,能从根本上满足现代商业企业的管理高效、分析精确、降低成本的要求,帮助企业实现物流、信息流、资金流的科学管理,为企业提高自身竞争力奠定坚实的基础。中小型连锁超市、连锁便利店、百货商场、购物中心、食品、配件、百货家居用品、办公用品、儿童用品、五金家电、化工、书报、音像店等。 金智成商贸通产品特色 一、技术先进, 安全稳定 1、采用大型数据库MS SQL 2000及复制技术,数据处理快速、准确、数据之间关系紧密,远程连接方便。 2、多层次的分布式网络体系结构设计,很好的支持商业企业的连锁经营模式。 3、系统自动定时备份,确保企业数据安全。 4、前台自动连网、断网模式,全自动切换不需要人工干预。前台断网数据自动上传。 5、采用最新的通讯监控手段,后台可以实时监控前台的收银状况和设态。 6、集进货、销售、仓库、零售、财务、金卡、配送、人事工资诸多管理功能于一身,业务与帐务实现一体化的链接。 7、强大的权限管理,不同操作员只能处理不同的业务,确保数据安全。 二、易学易用、轻松上手 1、简单易用,操作方便。大量人性化设计,30分钟即可学会。 2、生动形象的导航图标,简洁直观的操作界面,使操作员能轻松使用。 3、拥有近100万条标准商品库,并支持在进货或前台销售时,扫描条码自动快速建档。 4、前台自带练习收银模式,方便收银员练习使用。 5、方便、灵活的前台收银模式,支持全键盘操作与鼠标操作相结合,大大的加快收银速度。 6、系统提供科技、完善、严格的盘点业务流程,科学的盘点方式,真正实现不停业盘点,提高盘点的效率和准确性;系统支持各种条码采集器进行盘点录入,同时支持前台POS机的盘点功能。 三、灵活多样的促销 1、支持会员促销、团购促销、时段促销、搭赠、有权限控制的前台折扣或折价、捆绑销售、量大从段、限量购买、买100 1促销。 2、满足更全面的商业需求,支持商品捆绑销售、商品折包销售、特价、搭赠、时段促销、商品条码定制打印、商品价签定制打印;库存商品上下限报警。 3、多个门店可以实施不同的价格体系,在总部可以随时调整门店商品价格,支持商品调价立即生效和在指定日期生效。 四、查询快捷,报表丰富,支持多种外设 1、提供常见实用的分析报表,如销售排行、客单分析、库存分析,科学的数据分析为您提供决策的基础;系统还为高级客户提供灵活的自定义报表、直接的SQL查询及外挂特殊格式的报表文件。 2、灵活、方便、快捷的万能查询器、可以自由组合各种查询条件查询。 3、支持多种外设:条码电子称、条码扫描枪、数据打印机、顾显、钱箱、会员卡、条码打印机、盘点机等。 五、强大的会员管理功能 1、支持会员价销售、会员折扣销售、会员类别销售等多种优惠方式。 2、支持会员积分、会员储值、积分冲减、会员积分兑奖、会员积分转储值等功能。 3、支持会员生日提醒、会员生日、节假日自动发送手机短信的功能。 六、多种连锁管理模式、功能无限扩展 1、软件支持单机、单店网络、连锁管理等多种经营模式,不同版本间无缝升级,有效解决中小企业由小到大的管理发展要求。 2、系统支持多种连锁管理模式,可以由用户灵活设置:总部、配送中心、门店之间数据传输入支持PSTN、ADSL、DDN等多种方式。 3、配送中心根据门店的要货单据可以实现自动配货,自动产生配货结果,如果库不足,还自动产生采购订货单,配送过程系统智能处理,提高工作效率。 4、系统全面支持商业上常见的经销方式,包括购销、代销、联营、扣率代销、租赁等,并为每一种经营方式提供了专门的结算手段和报表。 金智成商贸通截图

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值