23篇大数据系列（一）java基础知识全集（2万字干货，建议收藏）(1)

2401_84182936

于 2024-05-03 08:11:08 发布

阅读量1.1k

点赞数 16

分类专栏：程序员文章标签：大数据 java 开发语言

本文链接：https://blog.csdn.net/2401_84182936/article/details/138408910

版权

❖ 提升自信心，自如应对面试，顺利拿到实习岗位或offer；

❖ 掌握大数据的基础知识，与其他同事沟通无障碍；

❖ 具备一定的项目实战能力，对于大数据工作直接上手；

有问题的小伙伴欢迎csdn主页。评论、点赞、收藏是对我最大的支持！！！

大数据工程师知识体系：

大数据时代已经到来

最近几十年，高速发展的互联网，渗透进了我们生活的方方面面，整个人类社会都已经被互联网连接为一体。身处互联网之中，我们无时无刻不在产生大量数据，如浏览商品的记录、成交订单记录、观看视频的数据、浏览过的网页、搜索过的关键词、点击过的广告、朋友圈的自拍和状态等。这些数据，既是我们行为留下的痕迹，同时也是描述我们自身最佳的证据。

2014年3月，马云曾经在北京的一次演讲中说道：“人类正从IT时代走向DT时代”。7年过去了，正如马云预想的那样，大数据时代已经到来了。

大数据工程师的工作内容是什么？

而大数据时代，有一个关键性的岗位不得不提，那就是大数据工程师。想必大家也会好奇，大数据工程师，日常是做什么的呢？

1.数据采集	找出描述用户或对业务发展有帮助的数据，并将定义相关的数据格式，交由业务开发部门负责收集对应的数据。
2.ETL工程	对收集到的数据，进行各种清洗、处理、转化等操作，完成格式转换，便于后续分析，保证数据质量，以便得出可以信赖的结果。
3.构建数仓	将数据有效治理起来，构建统一的数据仓库，让数据与数据间建立连接，碰撞出更大的价值。
4.数据建模	基于已有的数据，梳理数据间的复杂关系，建立恰当的数据模型，便于分析出有价值的结论。
5.统计分析	对数据进行各种维度的统计分析，建立指标体系，系统性地描述业务发展的当前状态，寻找业务中的问题，发现新的优化点与增长点。
6.用户画像	基于用户的各方面数据，建立对用户的全方位理解，构建每个特定用户的画像，以便针对每个个体完成精细化运营。

大数据工程师必备技能

那么，问题来了，如果想成为一名大数据工程师，胜任上述工作内容，需要具备什么样的条件？拥有什么样的知识呢？

分类	子分类	技能	描述
技术能力	编程基础	Java基础	大数据生态必备的java基础
		Scala基础	Spark相关生态的必备技能
		SQL基础	数据分析师的通用语言
		SQL进阶	完成复杂分析的必备技能
	大数据框架	HDFS&YARN	大数据生态的底层基石
		Hive基础	大数据分析的常用工具
		Hive进阶	大数据分析师的高级装备
		Spark基础	排查问题必备的底层运行原理
		Spark SQL	应对复杂任务的利刃
	工具	Hue&Zeppelin	通用的探索分析工具
		Azkaban	作业管理调度平台
		Tableau	数据可视化平台
业务基础		数据收集	数据是如何收集到的？
		ETL工程	怎么清洗、处理和转化数据？
		数据仓库基础	如何完成面向分析的数据建模？
		元数据中心	如何做好数据治理？
分析思维		数据分析思维方法论	怎么去分析一个具体问题？
		排查问题思维	如何高效排查数据问题？
		指标体系	怎么让数据成体系化？