谈谈大数据工程师的鄙视链

老婆漂亮的程序员，鄙视老婆不漂亮的程序员。

有老婆的程序员，鄙视没有老婆的程序员。

有女朋友的程序员，鄙视单身程序狗。

在单身狗之间，才有语言、编辑器和操作系统的互相鄙视。

看人家甜甜蜜蜜的，单身狗的你还不抓紧了找个妹子。

那么对于数据工程师来说，是不是也存在类似的一条鄙视链呢，今天我们不谈技术，我们谈谈技术背后的大数据工程师不同岗位之间的鄙视链：

大数据 ETL 开发工程师：

负责数据仓库 ETL （数据的抽取、转换和导入）流程开发；

精通 Hive SQL，掌握基本的 HQL 优化技能；

熟练使用 MySQL/Postgres 等数据库；

有Hadoop基础知识，熟练掌握PHP / Python / Java任一语言；

    （大数据金字塔的最底端，职业瓶颈非常有限）

大数据开发工程师：

熟悉 Linux，熟悉 shell，perl，python，php 等脚本语言的一种或多种；

扎实的 Java 基础编程，熟悉传统数据库 MySQL；

熟悉 Hadoop，HBase，Hive，Spark，Storm 任意一项或多项技术；

有大规模数据处理和日志处理经验的优先；

大数据开发工程师+数据平台J2EE开发工程师：

数据平台J2EE开发工程师：3-5年的 Java 开发经验；

慢慢往大数据方向来转，懂一点儿大数据的基础知识；

Hadoop、Spark、Storm、HBase 至少知道是怎么回事，能写一点简单的程序；

J2EE精通，提交计算任务（指定参数）、通过界面查看漂亮的报表和表格；

大数据平台高级开发工程师：

精通 Hadoop、Spark、Storm（源码级别的），Kafka、Flume、ZooKeeper；

精通 J2EE 技术，开源框架（Spring MVC、Spring、MyBatis）；

精通 MySQL 性能调优，Java 虚拟机（JVM）调优；

高并发系统架构（NoSQL、Redis、Memcached、Nginx、负载均衡、分布式）；

大数据平台高级架构师：

研究与跟踪大数据新技术发展方向，针对公司大数据业务进行框架设计；  

负责公司大数据产品的技术选型、设计、研发和维护，参与产品从立项到交付的全生命周期工作；

参与研发团队的日常技术交流与分享，为其他同事提供技术指导与帮助；

深入了解业务需求与业务逻辑，同产品、业务相关同事密切沟通和配合；

研究未来数据模型和计算框架的创新与落地（数据计算框架轻量化、建立数据模型等）；

 

高端，高端，高端

大数据数据挖掘与机器学习工程师：

一步一步往上走，走到大数据平台高级架构师级别；

对数据结构和算法设计有较为深刻的理解；

精通各种机器学习与数据挖掘的算法；（Spark MLlib，机器学习，GraphX，图计算，Hadoop Mahout）；

反作弊研发经验、用户行为分析、社群关系挖掘；

个性化推荐系统，用户意愿度分级系统，预测热卖产品走势，用户增长率等；

走到大数据金字塔的最顶端，用技术去直接为企业创造价值和利润，公司可以直接根据这些人计算出来的一些数据、方案等，去科学决策，调整公司的战略，是直接对公司的利润的提升、市场占有率的增加是有帮助的。

写在最后的话：

不管你智商多高，技术多牛逼，最重要的是要会落地，针对存在的问题提出解决方案，给公司创造价值，只有这样才能给自己带来实打实的回报，不然都是浮云啊。

其实很多时候是产品业务推动着技术人员的进步，比如某一天我们开发的产品就爆红了，带来了大量的用户访问，那你是不是就要着手解决高并发，海量数据存储等问题。

在没有碰到问题前，技术人员很多时候并不会意识到潜在的问题，就是在这样解决了一个又一个的问题之后，我们踩过了 N 个坑之后的经验就是我们成长的见证。

如果你准备入行大数据，关于2019大数据目前的

【发展前景】戳我阅读

【就业岗位】戳我阅读

【大数据薪资待遇】戳我阅读

【完整的学习线路】戳我阅读

关注微信公众号itdaima获取大数据全套开发工具以及入门学习资料