大数据工程师岗位JD中最常出现的技能

工作内容

• 构建大数据分析平台
• 参与业务数据建设、参与数据专题体系建设、数据中台建设
• 数据分析和挖掘工作
• 基于数据的离线和实时流分析
• 支撑业务的数据模型建设以及数据指标的计算和分析
• 数据存储、查询和运营数据分析体系搭建
• 运用Hadoop\Spark\ES等分布式计算和存储平台
• ETL流程的优化

---

必备技能一览

• Hadoop相关技术（开发、部署、调优），理解MapReduce原理和过程
• 编程语言：C/Python/Java（常用框架和中间件）/Scala/PHP/C++/go/rust
• Spark/Flink(架构及开发)、ES、Flume/Filebeat、Kafka/RocketMQ/RabbitMQ相关技术深入了解
• 熟练使用SQL
• Windows/Unix/Linux/Kuberbetes/Docker主流操作系统原理，熟练运用系统层进行应用开发
• ETL开发
• 良好编码习惯
• 分布式有深入了解
• hive SQL数据开发
• 数仓概念
• 数据模型基础知识、数据建模
• 可视化工具Tableau\PowerBI\FineReport
• 数据库架构设计、数据库设计
• 分布式大数据平台开发项目经验

可选技能和荣誉

• 大数据演进
• Redis/Clickhouse/图数据库开发经验
• 编程大赛获奖
• 大数据云平台、计算存储平台、可视化平台开发经验
• 熟悉软件工程开发流程
• 计算机技能：Storm/Hive/Hbase/Storm/Kafka/HDFS
• 数据挖掘算法的理解
• SAP BW/HANA数仓经验