大数据工程师技术栈探讨

１.前言

        随着国务院印发十四五规划关于数字经济规划和数字信息化建设的推进（如下图1所示）。大量的数字化的产品将产生海量的数据，因此近些年大数据技术越来越被大家重视起来。

图1  国务院十四五数字经济规划

        目前大数据技术也在不断迭代更新，人才稀缺。但是高校的技术学习相对滞后且相应的基础设施很薄弱，很多老师都没有对大数据相关应用实践经历，照本宣科。而大数据的技术学习门槛相对较高，很多是从Java工程师转行过来的，相对来说企业用工成本降低了。

        大数据商业应用潜力巨大。目前很多的互联网科技企业能够实现基于大数据的智能推荐，能实现数据的流式处理。其中零售业、金融业、电子政务等都有应用(如图2所示)。但对于中小企业来说条件有限，很多只能实现数据的分布式数据存储和数据的查询，对于数据的更高价值应用很难突破。主要原因是人才的匮乏和数据开发成本较高。

 图2 互联网大厂

        所以，目前大数据技术的潜力巨大，但是存在着很多问题。比如，人才基础的薄弱，很多来自Java程序员或者培训机构出来的学员；商业应用开发难度系数大，大的互联网科技公司才有大数据岗位，就业难度变大。本文旨在整理出大数据相关技术栈，供感兴趣同学学习指教，如有错误请评论区指正，谢谢。

２.案例展示

（1）人才画像推荐系统

（2）驾驶舱（数据可视化）

  （3）智慧物流系统

 （4）实时数仓

 

3.技术栈

（1）基础部分

Java基础、Java web技术、datax等可视化工具、mysql/oracle

（2）Hadoop基础

hadoop核心框架（HDFS、YARN和MAPREDUCE）等

（3）分布式缓存和消息中间件

redis、rabbitmq、kafka、elastic search

（4）数仓计算技术

hive 、spark、flink、phoenix、sqoop等

（5）数据分析和数据挖掘

python语言、数理统计知识、机器学习（深度学习）算法基础

（6）项目实战训练

hadoop大数据环境的搭建、大数据的离线计算、批处理和流式处理、用户画像的建立与推荐系统等。

4.就业方向

（1）数据可视化工程师

（2）ETL工程师

（3）大数据开发工程师

（4）数据分析和数据挖掘工程师

 

5.未来展望

        大数据技术适用于大型系统，价值巨大。将继续学习并沉淀相关技术，有兴趣的小伙伴可以一起探讨学习哦。

参考文献：

[1]常见的大数据平台架构设计思路_大数据基础入门教程-CSDN博客_大数据平台架构

[2]数据可视化Sugar BI-百度智能云

[3]datax详细介绍及使用_东北溜达滑的博客-CSDN博客_datax

[4]基于DataX和Flink-CDC的DataOps数据同步中台TIS | TIS

[5]全国数据监控