浅谈大数据技术与未来方向

最新推荐文章于 2024-08-18 18:03:33 发布

x1x112

最新推荐文章于 2024-08-18 18:03:33 发布

阅读量537

点赞数 1

分类专栏：大数据文章标签：大数据 hadoop hdfs mapreduce hive

本文链接：https://blog.csdn.net/weixin_44213009/article/details/129370298

版权

大数据专栏收录该内容

3 篇文章 0 订阅

订阅专栏

看过来！！！2017年，大数据已经从概念走向落地；2019年，中低端IT工程师紧随浪潮加速向大数据转型，企业对大数据人才争夺直接进入白热化阶段。因此，对于想学IT技术的、想月入过万不是梦的人而言，我建议，直接选择学习大数据技术是符合潮流和就业需求的选择。

一、大数据是什么？

1、大数据简介

一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。“数据量巨大就是大数据！”

2、大数据发展历程

我们常说的大数据技术，大致主要起源于Google在2004年前后发表的三篇论文，其实数据处理早就存在，每个公司或者个人都有自己的大数据处理系统，并没有形成编程框架和理念，而这三篇论文也就是我们熟知的大数据三驾马车，分别是分布式文件系统GFS、大数据分布式计算框架MapReduce和NoSQL数据库BigTable，这三篇论文影响了当今大数据生态，可以称得上大数据的基石，Doug cutting大佬在基于谷歌的三篇论文开发出了hadoop hdfs分布式文件存储、MapReduce计算框架，实际上从hadoop开源代码中窥见大数据并没有多么高深的技术难点，大部分实现都是基础的java编程，但是对业界的影响是非常深远的。
2006年hadoop发布后，Yahoo首先运用起来，随后越来越多大公司开始采用hadoop进行大数据存储和计算；
2008年hadoop 正式成为Apache顶级项目，许多大数据商业公司也开始出现，与此同时MapReduce编程模型编写较为复杂，Yahoo内部开发出了Pig一门脚本语言，提供类SQL的语法，开发者可以用pig脚本描述要对数据集进行的操作，Pig经过编译后会生成MapReduce程序，然后运行到Hadoop集群中。
在这里插入图片描述

3、大数据应有场景

大数据的应用对象可以简单的分为给人类提供辅助服务，以及为智能体提供决策服务。
大数据不仅包括企业内部应用系统的数据分析，还包括与行业、产业的深度融合。具体场景包括：互联网行业、政府行业、金融行业、传统企业中的地产、医疗、能源、制造、电信行业等等。通俗地讲“大数据就像互联网+，可以应用在各行各业"，如电信、金融、教育、医疗、军事、电子商务甚至政府决策等。
对企业而言，大数据可提高工作效率，降低企业成本，精准营销带来更多客户。
对政府而言，可以利用大数进行统筹分析、提高管理效率、管理抓获犯罪分子等。
对个人而言，可以利用大数据更了解自己等。

二、大数据有哪些岗位？

大数据有哪些岗位，想必大家很好奇。现在我就带领大家去了解一下，大数据有哪些岗位。现在许多公司的大数据团队一般有“一个部门，三个小组”，一个部门指：大数据部门；三个小组指：大数据平台组、数据仓库组和数据分析组。
岗位架构图如下图所示：
在这里插入图片描述
每个岗位技术需求架构图如下图所示：

虽然都属于同一个部门，但三组的岗位要求却不一样。下面分别介绍三组的技术要求和工作重点。

1、大数据平台组

（1）工作重点

大数据平台的设计开发：参与大数据平台建设，包括架构设计以及开发实现。
大数据平台的运维：负责运维大数据平台解决方案的制定、设计和实施。
大数据应用系统的开发：结合应用需求，规划应用场景并开发实现，驱动业务发展。

（2）技术要求

大数据平台的设计开发：要求深入大数据生态体系，对Hadoop、Hive、Spark等分布式框架有深刻理解，通读主要源码，有大数据项目构建经验。
大数据平台的运维：要求跟进HDFS、Yarn、HBase、Spark、KafKa、ELK等生态组件的落地实践，要求精通Hadoop、MapReduce、Hive、Spark等原理以及常见运维问题解决，熟悉ELK框架等。
大数据应用系统的开发：要求掌握常用的编程语言（如：Python、Java、Scala等）以及框架（如：大数据生态体系）。

2、数据仓库组

（1）工作重点

负责数据仓库等设计、建模、ETL任务开发等工作。
数仓在小组内一般都是一群人干活，业务分析、数仓设计、任务开发等都需要做。

（2）技术要求

拿数仓开发来说，负责把业务系统的数据抽取到数据仓库（工具人干的活），然后根据分析应用需求，建设数仓模型，开发对应的ETL任务，形成多个主题的分析模型，供分析师和业务系统调用。要求掌握ETL相关工具的使用。

3、数据分析组

（1）工作重点

负责对海量业务数据进行分析挖掘，满足研发和运营等部门对业务和决策需求。

（2）技术要求

数据分析师：对数据有良好的敏感性，能够通过数据察觉到背后的业务变化和潜在问题，熟悉常用的数据分析方法，具备相关项目经验，熟悉数据分析原理以及方案。
算法工程师：深入理解数据挖掘、机器学习算法原理，具备优秀的数据建模能力，能够根据实际问题选择合适的模型和算法。能够结合业务需求，开发相应的算法模型。
数据产品经理：数据普通产品经理的技能之外，还需要具备数据分析技能，并了解整个大数据应用建设的流程，一般需要有数据相关技术背景。

三、大数据就业前景

1、就业前景

在数字经济时代，人们的生活随着大数据、云计算、人工智能的快速发展，正在发生着越来越深的变革。大数据更是被认为是“未来的新石油”，在经济建设和社会生活中发挥的作用日益凸显。
自2015年国务院颁布《促进大数据发展行动纲要》后，大数据正式上升为国家发展战略，而2016年由工信部印发的《大数据产业发展规划（2016-2020年）》则掀起了大数据产业建设的浪潮。随着5G和物联网的发展，业界对更为高效、绿色的数据中心和云计算技术设施的需求越发升高，大数据基础层持续保持高速增长，《2020中国大数据产业发展白皮书》显示，2019年中国大数据产业规模达5397亿元，同比增长23.1%，预计到2022年将突破万亿元，持续促进传统产业转型升级，激发经济增长活力，助力新型智慧城市和数字经济建设。
在这里插入图片描述
当今时代，大数据应用的价值已经展露在各行各业中，而大数据人才的供不应求也是目前大数据行业面临的一大困境。预计2020年中国大数据行业的人才需求规模将达到210万，2025年前大数据需求仍将保持30%-40%的增速，需求总量在2000万人左右。早入门早挣钱！