数据平台开发是做什么的?需要具备哪些能力

数据平台开发,可以说是大数据时代的新兴技术岗位,不同于传统的技术开发岗,数据平台开发是一个综合性技术岗位,要求的技能也是复合型的,涉及到计算机、数学、统计学等。那么数据平台开发是做什么的,需要具备哪些能力,今天我们来具体了解一下。
 

数据平台开发是做什么的


在企业当中的数据平台开发岗位,通常可以分为两类:

一类是进行大数据平台自身的开发,这属于研发级开发任务,比如大数据平台Hadoop就是采用Java语言开发的。整个大数据平台还涉及到一系列产品,包括HBase、Hive、Avro、Zookeeper、Pig、Mahout、Cassandra等,开发这些产品也需要一个庞大的团队。

通常来说,进行大数据平台研发的程序员,往往需要具备丰富的开发经验,同时具备较强的研发能力,能够搭建出一个稳定的分布式计算体系。

第二类则是在大数据平台下进行应用开发,比如在Hadoop、Spark平台下进行具体的大数据应用开发等,这部分开发通常属于应用级开发,难度要相对小一些,但是往往需要与具体的场景进行紧密的联系,需要开发者具备一定的行业背景知识。

而大数据应用开发的任务,往往也分为两类,其一是进行已有软件产品的大数据改造;其二是针对于具体的大数据需求进行全新的大数据应用开发。

目前来说,因为还处在大数据落地应用的初期,所以在企业当中,大数据改造的开发任务会相对多一些,在未来新的大数据开发任务会逐渐增加。

对于数据平台开发来说,鉴于大部分公司的大数据平台都是使用Java技术栈来进行开发的,首先你需要对Java语言的基础和使用要有很深入的理解。其次,目前大数据平台会使用Spring Boot框架来进行开发,Spring的框架你要学会使用。这是入门的基础要求。

关于数据平台开发是做什么的,需要具备哪些能力,以上就为大家做了一个简单的介绍了。数据平台开发,是企业当中存在普遍需求的岗位,而想入行,技术实力要能打才扛得住。

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
DataSphere Studio(简称DSS)是微众银行自研的一站式数据应用开发管理门户。 基于插拔式的集成框架设计,及计算中间件 Linkis ,可轻松接入上层各种数据应用系统,让数据开发变得简洁又易用。 在统一的UI下,DataSphere Studio以工作流式的图形化拖拽开发体验,将满足从数据交换、脱敏清洗、分析挖掘、质量检测、可视化展现、定时调度到数据输出应用等,数据应用开发全流程场景需求。 DSS通过插拔式的集成框架设计,让用户可以根据需要,简单快速替换DSS已集成的各种功能组件,或新增功能组件。 借助于 Linkis 计算中间件的连接、复用与简化能力,DSS天生便具备了金融级高并发、高可用、多租户隔离和资源管控等执行与调度能力。 DSS主要特点: 一、一站式、全流程的应用开发管理界面 DSS集成度极高,目前已集成的系统有: 1、数据开发IDE工具——Scriptis 2、数据可视化工具——Visualis(基于宜信Davinci二次开发) 3、数据质量管理工具——Qualitis 4、工作流调度工具——Azkaban DSS插拔式的框架设计模式,允许用户快速替换DSS已集成的各个Web系统。如:将Scriptis替换成Zeppelin,将Azkaban替换成DolphinScheduler。 二、基于Linkis计算中间件,打造独有的AppJoint设计理念 AppJoint,是DSS可以简单快速集成各种上层Web系统的核心概念。 AppJoint——应用关节,定义了一套统一的前后台接入规范,可让外部数据应用系统快速简单地接入,成为DSS数据应用开发中的一环。 DSS通过串联多个AppJoint,编排成一条支持实时执行和定时调度的工作流,用户只需简单拖拽即可完成数据应用的全流程开发。 由于AppJoint对接了Linkis,外部数据应用系统因此具备了资源管控、并发限流、用户资源管理等能力,且允许上下文信息跨系统级共享,彻底告别应用孤岛。 三、Project级管理单元 以Project为管理单元,组织和管理各数据应用系统的业务应用,定义了一套跨数据应用系统的项目协同开发通用标准。 四、已集成的数据应用组件 DSS通过实现多个AppJoint,已集成了丰富多样的各种上层数据应用系统,基本可满足用户的数据开发需求。 用户如果有需要,也可以轻松集成新的数据应用系统,以替换或丰富DSS的数据应用开发流程。 1、DSS的调度能力——Azkaban AppJoint 2、数据开发——Scriptis AppJoint 3、数据可视化——Visualis AppJoint 4、数据质量——Qualitis AppJoint 5、数据发送——Sender AppJoint 6、信号节点——Signal AppJoint 7、功能节点 8、节点扩展

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值