程序员的另一出路:大数据工程师

原创 2015年07月09日 06:34:10

 

很多年前我很郁闷地写了一篇博客《程序员的出路在哪里?》,之所以郁闷,我记得是看了中国男足的比赛,情不自禁对比自已苦逼的程序员生涯,曾经对中国软件的感情有如对中国男足,绝望到没有任何一丁点希望,但又无路可走,于是埋头苦干默默奋斗无数年,时过境迁,我依然在这条路上奋力拼搏,正如当年我所推荐的第一个出路一样,软件创业,想说爱你不容易,但除了爱你,我还能爱谁?

 

重新阅读了一下当年的文章,我推荐的程序员出路依次是软件创业、技术管理者、出国、技术资深者、再读书以及技术支持或客户服务,其实还是很有想法的,能想到的都想到了,如今我们当年很多的程序员也差不多是在这些道路上混着,爱好折腾的基本上都在创业,能文能武的基本上都是CTO,口口声声说爱国的基本上都出了国,深爱着代码的技术牛人基本上成了人见人挖的技术超人,社会是多样化的,职业也是多样化的,很难评说这种就一定比那种好,这就是所谓的三百六十行,行行出状元。人啊,关键在于专注与专业,别最终弄得自已样样会样样不精。

 

程序员是很苦的,技术发展太快,我们需要不断地学习,以更新知识与技能,否则很快这会被时代所淘汰,没有成功的程序员,只有时代的程序员,我们不想象诺基亚那样被时代所抛弃。世界正从IT时代走向DT时代,未来是大数据的时代,企业最有价值的资产就是数据,你所拥有的数据越多你就越有说话权,因此未来企业里最牛逼的员工应该是和数据有关的职位,比如CDO(首席数据官)、数据科学家、数据分析师、数据工程师等,我个人认为这些职位将成为程序员又一个美好的出路。

 

首先我们来理解一下这几个职位。

CDO主要负责利用数据推进企业与社会的对话,挖掘企业海量数据中潜在的价值,并运营和管理好数据,为企业战略、营销和管理决策提供参考,CDO的能力不仅仅是大数据领域的范畴,他需要同时具有IT、市场营销、运营管理等综合素质。

“数据科学家是指运用统计分析、机器学习、分布式处理等技术,从大数据中提取出对业务有意义的信息,以简单易懂的形式传达给决策者,并创造出新的数据运用服务的人才。

数据分析师能洞悉一个方程式的商业意义,他们知道如何提出正确的问题,非常善于数据分析,数据可视化和数据呈现。

数据工程师是能运行基本数据模型,充分了解文件系统,分布式计算与大型数据库,他们是能提供可建模数据所需平台的人。“ 【以上三个职位的定义来源于互联网】

 

那么,程序员如何转型成为优秀的大数据工程师呢?主要是从两者所要求的能力上来分析的,首先大数据工程师是需要有计算机编码能力的,因为面对海量的非结构化数据,你要从中挖掘出有价值的东西,需要设计算法与编写程序去实现,而程序员最牛的能力就是编写简洁高效的代码,去实现人们许许多多美妙的梦想,编码能力越强的程序员越有可能成为优秀的大数据工程师。其次,大数据工程师需要统计学与应用数学相关的能力背景,数据挖掘与分析是需要设计数据模型和算法的,应该说程序员是有这个基础的,我见过最牛逼的程序员一般都不是科班出来的,通常是数学专业,因此提高算法设计能力是程序员转型大数据工程师的关键因素。第三,大数据工程师需要具备某一行业的业务知识,大数据的挖掘与分析最终都要服务于市场,并对产品的销售与企业的发展起到重大推动作用,那才是有价值的大数据分析,因此大数据是不能脱离市场的,它必须与某一行业的应用想结合起来才容易产生更大的价值,通常程序员都是在做某一行业的软件,经过多年的学习与磨练,对某一行业的业务知识是有积累的,因此从来这一点上来看,程序员是很容易过度到大数据工程师的。

 

当然,以上都只是粗略的分析,真正要成为一名优秀的大数据工程师,程序员还需要更多的学习与努力。总而言之,前景是光明的,未来是美好的,在美国,大数据工程师平均年薪达17.5万美元,在中国顶尖的互联网公司里,大数据工程师的薪酬比同级别的其他职位高出30%以上。DT时代来得太突然了,国内发展势头很猛,而大数据相关的人才却非常地有限,在未来若干年内都会是供不应求的状况,指望大学培养出合格的大数据人才有如天方夜谭,因此我们程序员要努力与争气。

 

大数据工程师技能图谱

原文链接:http://toutiao.com/a6267290210372747522/ 一、大数据通用处理平台 Spark Flink Hadoop 二、分布式存储 HDFS...
  • tterminator
  • tterminator
  • 2016年03月31日 13:39
  • 1910

2017年度程序员数据大揭秘:大数据就业前景广阔!

在互联网行业,程序员一直是很受关注的人群。特别对准备步入社会的大学生们来说,从事哪方面的职业是一个很重要的问题,而程序员就是一个非常热门的选择。 根据2017年中国程序员调查的数...
  • EGEFCXzo3Ha1x4
  • EGEFCXzo3Ha1x4
  • 2017年11月07日 00:00
  • 901

工信部认证的大数据工程师证书你有多了解?

面对面试官如何才能证明你的实力,如果是英语相关职位你可以出示自己的托福、雅思证书,可是大数据可以考取什么证书?大数据培训公司发放的证书真的不具备权威性吗?前些天在网络火爆的工信部认证的某大数据培训又是...
  • qq_35441390
  • qq_35441390
  • 2016年07月18日 15:35
  • 12054

从事大数据工作的朋友 你拥有几个大数据证书?

随着大数据的兴起与应用,数据科学家和数据分析师,以及具有大数据技术工作能力的工程师和开发人员得到了青睐,并获得良好的回报。 怎样证明你的大数据实力?大数据证书最直接! 大讲台老师整理出现今流行的...
  • away30
  • away30
  • 2017年10月27日 17:21
  • 775

移动开发工程师和大数据工程师对比

可能很多人都还很困惑,什么是大数据,其实可以简单的这么理解:大数据就是对大量数据进行有效处理的一种解决方案;因为随着数据量的不断增加,传统的框架及计算模型已经无法满足数据增加的需求,所以出现了一种新型...
  • Frimish
  • Frimish
  • 2015年10月27日 14:35
  • 5522

程序员半路转行大数据开发,如何才能在原有的薪资的基础上高出百分之30以上

阅读文本大概需要 3.3 分钟。这里有一个半路转行做开发实现年薪40W的故事,也许对你有帮助。毕业后第一份工作是公司的销售,卖那种app注册量,没错,就是经常在大街上有人拉着你让你扫二维码注册app那...
  • h8b6Pk7M7r8
  • h8b6Pk7M7r8
  • 2017年12月22日 00:00
  • 255

当我说要做大数据工程师时他们都笑我,直到三个月后……

GitChat 作者:Fickr孫啟誠
  • GitChat
  • GitChat
  • 2017年10月25日 14:52
  • 25397

当我说要做大数据工程师时他们都笑我,直到三个月后……

申明: 本文旨在为普通程序员(Java程序员最佳)提供一个入门级别的大数据技术学习路径,不适用于大数据工程师的进阶学习,也不适用于零编程基础的同学。 前言: 一、背景介绍 ...
  • dufufd
  • dufufd
  • 2017年11月21日 16:22
  • 1140

作为大数据工程师,你必须熟练运用的性能优化技术

作为大数据工程师,你必须熟练运用的性能优化技术  作为大数据工程师,你必须熟练运用的性能优化技术 2016-09-21 吴朱华 大数据 大数据 大数据 微信号 hzdashuju 功能介...
  • nysyxxg
  • nysyxxg
  • 2016年10月24日 12:38
  • 356

大数据工程师面试题(三)

2.13. 简述hadoop的调度器 FIFO schedular:默认,先进先出的原则 Capacity schedular:计算能力调度器,选择占用最小、优先级高的先执行,依此类推 Fair...
  • u011682879
  • u011682879
  • 2017年02月19日 15:39
  • 2955
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:程序员的另一出路:大数据工程师
举报原因:
原因补充:

(最多只允许输入30个字)