你为什么从后端开发(Java/golang)转到大数据开发(Hadoop/Spark)?转大数据的最初原因很简单,就是好几个同事都转了,他们的收入瞬间提高了好多,于是在同事的内推我也就跟着转了,转完以后发现自己真的转对了。有以下2个理由:
1、行业发展好
首先考虑的是行业发展的角度,当今互联网行业内技术的发展是很重要的,通过行业趋势让自己拿到新的一轮门票,走上更好的发展,那么我们才能成长的更好。每个人都应该努力,但比努力更重要的是选择,选对赛道是我认为还算比较努力的普通人可以活的更好的法宝。
现在的行业发展情况来看大数据一直是个很大趋势,尤其是从2020年开始。
转行过来发现大数据开发的工作难度远比我之前想象中要低很多,我几乎每天都是基于Hive写SQL,写各种各样的SQL,SQL写熟了,根据需求写SQL确实没啥太大的难度,当然我现在还在学习,Spark快学完了,学起来也不难;甚至有一天我在想,如果当初直接选择干大数据也许会简单。
大数据薪资普遍比Java开发要高3-4K以上,所以有很多做Java开发的小伙伴都在转行做大数据。大家都会用脚去投票的嘛!
2、薪资水平高
其次就是薪资水平了,周边很多Java的工程师做个3-5年,薪资最多也就是个1w-2.5w这个样子了。2.5万对于Java技术人员来说已经很高了,当然Java架构师或者做底层的开发人员工资相对技术人员来说薪资较高一些,但是那么的Java岗位中,类似架构师这种高端岗位的占比又有多少呢?大家技术水平都差不多,凭什么他就架构师?我自认为没有那么好的为人处世的能力,也没有那么好的运气。
但是我了解到,对于从事大数据开发这个岗位的技术人员来说,2万多只能算一般般。
以Hadoop Hive工程师为例,刚大学毕业入门月薪已经达到了8K-10K以上,工作1年月薪可达到1.2W-1.6W以上,具有2-3年工作经验的年薪可以达到30万—50万,这在之前,我们干Java后端的是不敢想象的。
所以大数据有着很大的发展空间。 我认为选择大数据就是一个很聪明的选择,先别管以后咋样、别管以后多少年大数据会像Java一样卷,起码我先用脚投了票、提前每个月多挣了点钱。
小结
最后,很多人可能纠结自己现在从事的是Java编程是否需要转Python大数据。其实我想和大家说的是,从技术层面来讲,不管是Java还是Python等等,都是大数据的一个工具而已。
现在Spark官方都在强推Python,把大数据开发弄的和数据分析差不多了要,刚开始我自己有些接受不了,想着还要学Python,但作为普通人怎么能逆转趋势呢?你我只是个凡人。现在不得不说Python确实简单。
大数据一定是以SQL Python作为主要编程工具的,凡是和数据相关的岗位几乎最终都这样的;当然我也有可能是错的,但是又有什么关系呢,会一门编程语言,再去使用完全没有用过的另外一门编程语言,难道还要从HelloWorld重新学习么?
只要稍微有点基础的程序员转型大数据,都有天然的进阶优势,因为是真的简单;哪怕你没有学过任何一种编程语言零基础,也是可以很快就学会,最重要的是自己要用心。
想要追赶Python的热潮,却无门路?
可以看看下面这套学习路线,带你入行python~
Python+大数据学习路线图详细介绍
第一阶段 大数据开发入门
学前导读:从传统关系型数据库入手,掌握数据迁移工具、BI数据可视化工具、SQL,对后续学习打下坚实基础。
1.大数据数据开发基础MySQL8.0从入门到精通
MySQL是整个IT基础课程,SQL贯穿整个IT人生,俗话说,SQL写的好,工作随便找。本课程从零到高阶全面讲解MySQL8.0,学习本课程之后可以具备基本开发所需的SQL水平。
2022最新MySQL知识精讲+mysql实战案例_零基础mysql数据库入门到高级全套教程
第二阶段 大数据核心基础
学前导读:学习Linux、Hadoop、Hive,掌握大数据基础技术。
2022版大数据Hadoop入门教程
Hadoop离线是大数据生态圈的核心与基石,是整个大数据开发的入门,是为后期的Spark、Flink打下坚实基础的课程。掌握课程三部分内容:Linux、Hadoop、Hive,就可以独立的基于数据仓库实现离线数据分析的可视化报表开发。
2022最新大数据Hadoop入门视频教程,最适合零基础自学的大数据Hadoop教程
第三阶段 千亿级数仓技术
学前导读:本阶段课程以真实项目为驱动,学习离线数仓技术。
数据离线数据仓库,企业级在线教育项目实战(Hive数仓项目完整流程)
本课程会、建立集团数据仓库,统一集团数据中心,把分散的业务数据集中存储和处理 ;目从需求调研、设计、版本控制、研发、测试到落地上线,涵盖了项目的完整工序 ;掘分析海量用户行为数据,定制多维数据集合,形成数据集市,供各个场景主题使用。
大数据项目实战教程_大数据企业级离线数据仓库,在线教育项目实战(Hive数仓项目完整流程)
第四阶段 PB内存计算
学前导读:Spark官方已经在自己首页中将Python作为第一语言,在3.2版本的更新中,高亮提示内置捆绑Pandas;课程完全顺应技术社区和招聘岗位需求的趋势,全网首家加入Python on Spark的内容。
1.python入门到精通(19天全)
python基础学习课程,从搭建环境。判断语句,再到基础的数据类型,之后对函数进行学习掌握,熟悉文件操作,初步构建面向对象的编程思想,最后以一个案例带领同学进入python的编程殿堂。
全套Python教程_Python基础入门视频教程,零基础小白自学Python必备教程
2.python编程进阶从零到搭建网站
学完本课程会掌握Python高级语法、多任务编程以及网络编程。
Python高级语法进阶教程_python多任务及网络编程,从零搭建网站全套教程
3.spark3.2从基础到精通
Spark是大数据体系的明星产品,是一款高性能的分布式内存迭代计算框架,可以处理海量规模的数据。本课程基于Python语言学习Spark3.2开发,课程的讲解注重理论联系实际,高效快捷,深入浅出,让初学者也能快速掌握。让有经验的工程师也能有所收获。
Spark全套视频教程,大数据spark3.2从基础到精通,全网首套基于Python语言的spark教程
4.大数据Hive+Spark离线数仓工业项目实战
通过大数据技术架构,解决工业物联网制造行业的数据存储和分析、可视化、个性化推荐问题。一站制造项目主要基于Hive数仓分层来存储各个业务指标数据,基于sparkSQL做数据分析。核心业务涉及运营商、呼叫中心、工单、油站、仓储物料。