从业大数据方向，需要掌握哪些技能，具体系统学习路线是什么？

最新推荐文章于 2023-03-02 18:45:25 发布

次世代群901739356

最新推荐文章于 2023-03-02 18:45:25 发布

阅读量510

点赞数

分类专栏：大数据数据分析大数据入门互联网视频教程云计算 Java 文章标签：大数据

本文链接：https://blog.csdn.net/qq_39658251/article/details/89785792

版权

本文介绍了大数据领域的三大方向：大数据工程师、数据分析师和大数据科学家，并重点解析了大数据工程师的技能需求，包括Hadoop、Spark、Storm等平台的掌握。同时，提供了大数据学习路径，涵盖Hadoop、分布式文件系统HDFS、MapReduce、HBase、Pig、Hive、Sqoop和Storm等技术。适合初学者和进阶者参考。

摘要由CSDN通过智能技术生成

一、大数据相关工作介绍

大数据方向的工作目前主要分为三个主要方向:

1. 大数据工程师

2. 数据分析师

3. 大数据科学家

4. 其他（数据挖掘等）

二、大数据工程师的技能要求

附上大数据工程师技能图：

总体而言，我们大数据人才划分为三个大类：

一、大数据开发工程师：

围绕大数据系平台系统级的研发人员，熟练Hadoop、Spark、Storm等主流大数据平台的核心框架。深入掌握如何编写MapReduce的作业及作业流的管理完成对数据的计算，并能够使用Hadoop提供的通用算法，熟练掌握Hadoop整个生态系统的组件如： Yarn，HBase、Hive、Pig等重要组件，能够实现对平台监控、辅助运维系统的开发。

通过学习一系列面向开发者的Hadoop、Spark等大数据平台开发技术，掌握设计开发大数据系统或平台的工具和技能，能够从事分布式计算框架如Hadoop、Spark群集环境的部署、开发和管理工作，如性能改进、功能扩展、故障分析等。

二、大数据运维工程师：

了解Hadoop、Spark、Storm等主流大数据平台的核心框架，熟悉Hadoop的核心组件：HDFS、MapReduce、Yarn；具备大数据集群环境的资源配置，如网络要求、硬件配置、系统搭建。熟悉各种大数据平台的部署方式，集群搭建，故障诊断、日常维护、性能优化，同时负责平台上的数据采集、数据清洗、数据存储，数据维护及优化。熟