这种问法是初接触者的困惑,尤其是现在铺天盖地的python机器学习课程,会让人以为python就是工作中主流了,那spark是干什么呢,Scala这个名字好像也听过。
以下摘自一段相对好理解的回答:
spark是用在大数据场景中的,python机器学习侧重数据分析场景,一般都是在本地机器上运行,常用的python库有sklearn,以及深度学习库tf, keras等。使用python的场合多是初学者入门教学,做算法原型,本机数据分析,也可进行科学计算科研场景。spark是当前分布式计算引擎的标杆,Python是一个语言二者不可直接比较。对于大数据这种实际工程场景,会使用spark,而spark支持的编程接口主要有Python和scala。
所以,反映在招聘需求中,也不会是不同段位工资的差异,光会python是不行的,python只限于刚接触数据的一两年还行,往专业走还是要会spark,自然用Scala语言跟spark更相配。