大数据平台在互联网行业的应用

本文是58同城信息系统部高级经理余中洋对大数据在互联网行业应用的总结。以实际经验讲解了大数据从雏形到发展,以及发展过程中传统数据仓库到大数据平台的转化和大数据的可视化应用。

大数据显雏形——发展

所有公司在一开始时,数据的建设都是比较落后的,但随着互联网的环境推动,以及公司计划2013年在纽约交易所上市,这时候面临一个很大的问题。在上市之前,公司的数据,无论是流量数据还是财务产品数据都需要经过非常严格的审计。为此,我们开始整理数据,做数据报表,花费一年多的时间做数据整理、数据规范,慢慢的大数据的平台有了雏形。

后来公司上市之后,数据运营的重点从反映过去和现在的状况转变成指导业务、管理业绩、支持销售。

2015年到2016年这两年,公司将目标投入到数据智能上,建立了一个非常大的系统平台,并且让整个销售和产品运营体系全面实施数据化运营。在这个平台上,我们不仅仅要进行管理销售,还要构建销售能力模型,预测未来业绩。因为在美国市场的股价,更多的是依赖公司未来的发展,公司未来预期决定了公司现在的股价,因此总共的业绩预测非常重要,能够非常精确的预测销售更加重要。

大数据平台建设

公司拥有很多的业务数据库,有订单、CRM、合同管理、人力资源等数据库。以往,我们会把这些数据库里的数据做集成,做一个简单的数据仓库,然后根据业务需求,在数据集成的基础上,通过帆软报表建立一个决策系统,做数据展示,提供服务。这个过程的好处是开发成本低,投入成本低,技术架构简单,可以非常快速的在公司内部运行起来。

但是这样的方式随着业务系统的增多,逐渐开始不适用。一是业务数据多样化、数据未集中管理、有效利用数据难度大;数据存储能力受限,无法追溯较远的历史数据。二是很多情况下,不同的产品经理和工程师所提的需求是不同的,而且这些不同的需求本身是交织在一起的。因此不同的团队做出同样的指标,由于数据指标定义不一致,存在意义相近重复指标的时候,管理层很难做出决策。三是分析和运营使用的数据渠道完全依赖于自身数据的监控,这会导致IT部门工作压力较大。

除了以上反映的问题,公司在基于未来发展情况下又呈现了新一轮的现状,并提出了以下需求:

  • 业务的多元化发展,公司大量的并购导致集团数据量和数据需求爆发式增长;
  • 数据网状流通,基础数据、数据指标缺少统一的元数据管理;
  • 为了更好发掘数据价值,提升数据能力、构建标准化数据体系成为当务之急。

大数据平台业务架构

集团的业务架构大体可以分为几块内容。第一个是数据模型师。主要的工作是做好元数据管理,数据模型的开发以及建立统一的数据标准。第二个是数据开发员,它会对接产品,然后去做一些业务开发。第三个是业务人员,业务人员是运营、销售、市场人员,在这个地方做了很多可视化来帮助他们做出决策。最后是公司的数据分析部门,他们有很多对于审计包括公司一些非常核心的数据的分析需求,他们会通过独立的数据查询系统实现数据多维度分析。

 

下图是技术架构,在底层进行数据存储,抓取数据,并将存储层的数据传给处理层,在处理层完成业务计算,形成指标。然后前端通过帆软报表的应用,将数据以业务报表的方式进行图形化展示,并在移动报表APP上进行展示。

除去这个,我们还在管理上做了数据中心的建设规范。然后是数据质量管理,包括确保数据的准确性,为保证数据的及时性还建立了一个运行和管理规范。这四块结合起来以保证平台的平稳运行。

 


大数据可视化

数据可视化是这个平台最后的一步也是应用范围最广的一步。这方面,由于我们

1、需求来源多:团队需要同时对接财务部、销售中心、客服中心、管理层等各级部门,且各个部门关注的指标千差万别。

2、报表可视化方式多:需要通过明细表、汇总表、钻取表以及各类图表来分别满足各个部门的不同管理职级的需求,还要给给需求方提供离线报表、实时报表、邮件&短信推送数据等多种渠道。

3、自定义开发多:为了对接公司内部的业务系统,需要经常自定义开发。

所以,需要一个满足这些需求的可视化报表开发工具。这一块,无论从最初的传统数据仓库方式还是现在的大数据平台,我们都选择了帆软报表。

优势如下:

  • EXCEL设计风格:操作界面大大降低了学习成本。
  • 多数据源支持:接入个各个部门的各个类型的数据库非常方便。
  • 优秀的图标展示:HTML5图表技术,支持多种图表类型、样式、风格,参数传递灵活,交互效果丰富。
  • 友好的接口:开发人员使用网页脚本、API接口等进行深入的开发与控制,支持插件开发、安装、使用和管理,以满足其个性化的需求。

可视化展示:

 


 

  • 18
    点赞
  • 20
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
大数据行业人才分布广泛,应用领域包括但不限于以下几个行业: 1. 金融行业:金融行业大数据行业的主要应用领域之一,涉及到金融风险管理、投资分析、信用评估、反欺诈等方面。大量的银行、证券、保险公司都在积极应用大数据技术,对数据科学家、数据工程师和数据分析师等人才需求很大。 2. 互联网行业互联网行业大数据行业的另一个主要应用领域,涉及到电商、社交网络、在线广告、搜索引擎等方面。众多的互联网公司都在积极应用大数据技术,对数据科学家、数据工程师和人工智能工程师等人才需求很大。 3. 制造业:制造业是大数据行业的新兴应用领域,涉及到智能制造、供应链管理、质量控制等方面。随着智能制造的普及和推广,对数据工程师、人工智能工程师和云计算工程师等人才需求也会越来越大。 4. 医疗保健行业:医疗保健行业大数据行业的另一个新兴应用领域,涉及到疾病预测、个性化治疗、医疗资源管理等方面。大量的医疗机构都在积极应用大数据技术,对数据科学家、数据分析师和人工智能工程师等人才需求很大。 5. 政府和公共服务行业:政府和公共服务行业也是大数据行业应用领域之一,涉及到城市规划、公共安全、交通管理等方面。政府机构和公共服务机构都在积极应用大数据技术,对数据科学家、数据工程师和数据分析师等人才需求不断增加。 总之,大数据行业应用领域非常广泛,涉及到各个行业和领域,对人才的需求也非常多样化。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Leo.yuan

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值