大数据时代，如何成为一个年薪50w的大数据开发工程师？

最新推荐文章于 2024-09-25 09:03:37 发布

arry86

最新推荐文章于 2024-09-25 09:03:37 发布

阅读量3.2k

点赞数 1

文章标签：大数据程序员机器学习 hadoop spark

本文链接：https://blog.csdn.net/qq_42002449/article/details/80706020

版权

大数据工程师是当前热门职业，需求量大但人才稀缺。成为优秀的大数据工程师需要具备数学及统计学背景、计算机编码能力以及对特定领域的知识。公司对大数据工程师的要求各异，包括数据库编程、应用数学、统计学和业务理解等。学习大数据涉及Java、HTML/CSS/JavaScript、Linux、Hadoop生态、Spark生态、Storm实时开发等多个方面，具备这些技能的工程师将有广阔的职业发展前景和高薪待遇。

摘要由CSDN通过智能技术生成

大数据是眼下最带感的技术名称之一，大数据行业的火爆发展也自然也衍生出了一些与大数据相关的职业，比如互联网数据分析师、数据工程师等等，通过对数据的挖掘分析来影响企业的商业决策已屡见不鲜。

这类职业的人群在国外被叫做数据科学家（Data Scientist），这个头衔最早由D.J.Pati和Jeff Hammerbacher于2008年提出，他们后来分别成为了领英（LinkedIn）和Facebook数据科学团队的负责人。而数据科学家这个职位目前也已经在美国传统的电信、零售、金融、制造、物流、医疗、教育等行业里开始创造价值。不过在国内，大数据应用还只是处于海平面上的一颗新星，不够成熟不够明亮，所以与其期望有一个全才来完成整个链条上的所有环节，更多公司会根据自己已有的资源和短板，招聘能和现有团队互补的人才，帮助公司发展。

于是每家公司对大数据工作的要求不尽相同：有的专注数据库编程、有的重点突出应用数学和统计学知识、有的是希望能找到懂得产品和市场的数据应用型人才。这种种的条件让很多公司会针对自己的业务类型和团队分工，给这群与大数据打交道的人一些新的头衔和定义：比如数据挖掘工程师、互联网数据分析师、数据挖掘师、用户分析专家等都是经常在国内公司里出现的Title，在此我们将其统称为“大数据工程师” 。

由于国内的大数据工作还处在一个有待开发的阶段，因此能从数据的银河中挖掘出多少有效价值完全取决于工程师的个人能力。西线学院小编在这里也为大家罗列一些行业所需的数据分析人才所包括的能力清单：想要成为数据工程师你要有计算机编码能力、数学及统计学相关背景，当然如果能对一些特定领域或行业有比较深入的了解，对于其快速判断并抓准关键因素则更有帮助。

需要具备的能力
1.数学及统计学相关的背景
就我们采访过的BAT三家互联网大公司来说，对于大数据工程师的要求都是希望是统计学和数学背景的硕士或博士学历。缺乏理论背景的数据工作者，更容易进入一个技能上的危险区域(Danger Zone)—一堆数字，按照不同的数据模型和算法总能捯饬出一些结果来，但如果你不知道那代表什么，就并不是真正有意义的结果，并且那样的结果还容易误导你。“只有具备一定的理论知识，才能理解模型、复用模型甚至创新模型，来解决实际问题。”沈志勇说。
2.计算机编码能力
实际开发能力和大规模的数据处理能力是作为大数据工程师的一些必备要素。
举例来说，现在人们在社交网络上所产生的许多记录都是非结构化的数据，如何从这些毫无头绪的文字、语音、图像甚至视频中攫取有意义的信息就需要大数据工程师亲自挖掘。即使在某些团队中，大数据工程师的职责以商业分析为主，但也要熟悉计算机处理大数据的方式。
3.对特定应用领域或行业的知识
大数据工程师这个角色很重要的一点是，不能脱离市场，因为大数据只有和特定领域的应用结合起来才能产生价值。所以，在某个或多个垂直行业的经历能为应聘者积累对行业的认知，对于之后成为大数据工程师有很大帮助，因此这也是应聘这个岗位时较有说服力的加分项。
职业发展
1.如何成为
由于目前大数据人才匮乏，对于公司来说，很难招聘到合适的人才—既要有高学历，同时最好还有大规模数据处理经验。因此很多企业会通过内部挖掘。
2014年8月，阿里巴巴举办了一个大数据竞赛，把天猫平台上的数据拿出来，去除敏感问题后，放到云计算平台上交予7000多支队伍进行比赛，比赛分为内部赛和外部赛。“通过这个方式来激励内部员工，同时也发现外部人才，让各行业的大数据工程师涌现出来。”
目前长期从事数据库管理、挖掘、编程工作的人，包括传统的量化分析师、Hadoop方面的工程师，以及任何在工作中需要通过数据来进行判断决策的管理者，比如某些领域的运营经理等，都可以尝试该职位，而各个领域的达人只要学会运用数据，也可以成为大数据工程师。
2.薪酬待遇
作为IT类职业中的“大熊猫”，大数据工程师的收入待遇可以说达到了同类的顶级，国内IT、通讯、行业招聘中，有10%都是和大数据相关的，且比例还在上升。颜莉萍(Nicole Yan)表示，“大数据时代的到来很突然，在国内发展势头激进，而人才却非常有限，现在完全是供不应求的状况。”在美国，大数据工程师平均每年薪酬高达17.5万美元，而据了解，在国内顶尖互联网类公司，同一个级别大数据工程师的薪酬可能要比其他职位高20%至30%，且颇受企业重视。
3.职业发展路径
由于大数据人才数量较少，因此大多数公司的数据部门一般都是扁平化的层级模式，大致分为数据分析师、资深研究员、部门总监3个级别。大公司可能按照应用领域的维度来划分不同团队，而在小公司则需要身兼数职。有些特别强调大数据战略的互联网公司则会另设最高职位—如阿里巴巴的首席数据官。另一方面，大数据工程师对商业和产品的理解，并不亚于业务部门员工，因此也可转向产品部或市场部，乃至上升为公司的高级管理层。

学习大数据需要掌握的编程技能可以需要

第一：Java语言基础

1、Java开发介绍

2、熟悉Eclipse开发工具

3、Java语言基础

4、Java流程控制

5、Java字符串

6、Java数组与类和对象

7、数字处理类与核心技术

8、I/O与反射、多线程

9、Swing程序与集合类

第二：了解并熟悉一些HTML、CSS的基础知识，学习 JavaScript交互功能的开发应用。