Hadoop开发工程师
1.负责大数据平台的日常开发、维护工作。
2.根据业务部门的数据收集、存储和分析需求,制定相关的设计方案和开发计划,并进行后续的设计、开发。
3.熟练语言MapReduce、HDFS\hive、HBase\Redis等分布式组件,并有基于以上组件的开发经验。
spark开发工程师
1.参与&负责业务线数据BI和数据挖掘,对于业务线做数据支持和挖掘工作,支撑&指导业务的发展;
2.根据数据分析的需求,支持数据的展现;
3.参与&负责用户交互查询的架构设计与实现;
4.参与&负责用户画像平台的开发,并结合推荐业务进行迭代优化;
数据仓库开发工程师:
1.利用数据仓库建模及相关技术,参与数据仓库模型的设计。
2. 参与企业级大数据仓库项目的落地开发。
3. 参与企业级主数据管理项目的实施落地。
4. 利用hadoop生态相关技术,负责大数据中心的数据处理流程,包括数据清洗、融合、统计、挖掘等。
5.熟悉数据仓库产品,对数据处理、维度建模、数据分析等有深刻认识,具备数据仓库架构设计、模型设计。
ETL开发工程师
1.海量数据的ETL开发,抽取成各种数据需求。
2.参与数据仓库架构的设计及开发。
3.参与数据仓库ETL流程优化及解决ETL相关问题。
4.熟悉主流数据库技术,如oracle、Sql server、PostgeSQL等。
5.精通et架构,有一定的et开发经验,了解日常作业的部署和调度。
6.会数据et开发工具,如Datestage,Kettle等。
BI开发工程师
1.主导公司商业智能平台的设计工作;
2.掌握BI领域主流开源技术及行业动态。
架构研发
1、 基于公司大数据基础和数据资产积累,负责大数据应用整体技术架构的设计、优化,建设大数据能力开放平台;负责大数据应用产品的架构设计、技术把控工作。
2、 负责制定大数据应用系统的数据安全管控体系和数据使用规范。
3、 作为大数据技术方案到产品实现的技术负责人,负责关键技术点攻坚工作,负责内部技术推广、培训及知识转移工作。
4、 负责大数据系统研发项目任务规划、整体进度、风险把控,有效协同团队成员并组织跨团队技术协作,保证项目质量与进度。
5、 负责提升产品技术团队的技术影响力,针对新人、普通开发人员进行有效辅导,帮助其快速成长。
OLAP
OLAP在线联机分析开发者,负责将数据从关系型或非关系型数据源中抽取出来建立模型,然后创建数据访问的用户界面,提供高性能的预定义查询功能。
数据预测分析
营销部门经常使用预测分析预测用户行为或锁定目标用户。预测分析开发者有些场景看上有有些类似数据科学家,即在企业历史数据的基础上通过假设来测试阈值并预测未来的表现。
项目运维工程师
1、负责公司大数据平台的运维保障,根据操作规范进行系统的基础环境部署、安全配置、监控配置、数据备份、权限管理;
2、确保大数据平台的正常运行及应急响应;
3、制定和改进部署、维护流程,提高服务运行质量;
4、负责系统的容量规划和架构设计等流程与规范的制定;
5、负责对线上服务器进行安全加固、周期检测,负责运维环境的安全策略实施、安全状态监控、安全日志管理、安全配置管理等工作;