python 大数据开发框架有哪些_入门大数据开发行业！必备的十大基础

现在由于人工智能的大热，这方面的人才稀缺，薪资水平不用说，行业中的NO.1，所以各路人马纷纷集结互联网行业，有转行的，有转岗的。对于初学者在学习这方面肯定有许多疑问，是什么疑问呢，我在这里一 一给你解答。

一、首先要搞清楚一个概念，什么是大数据。

大数据又称巨量资料，就是数据量大、来源广、种类繁多(日志、视频、音频)，大到PB级别，现阶段的框架就是为了解决PB级别的数据。

专业的来讲：大数据(big data,mega data)，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样的捷径，而采用所有数据进行分析处理。大数据的5V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值密度)、Veracity(真实性)。

二、学习大数据需要什么语言基础?

首先，学习大数据是需要有java，python和R语言的基础。

1)Java学习到什么样的程度才可以学习大数据呢?java需要学会javaSE即可。javaweb，javaee对于大数据用不到。学会了javase就可以看懂hadoop框架。

2)python是最容易学习的，难易程度：python java Scala 。python不是比java更直观好理解么，因为会了Python 还是要学习java的，你学会了java，再来学习python会很简单的，一周的时间就可以学会python。

3)R语言也可以学习，但是不推荐，因为java用的人最多，大数据的第一个框架Hadoop，底层全是Java写的。就算学会了R还是看不懂handoop。

java在大数据中的作用是构成大数据的语言，大数据的第一个框架Hadoop，底层全是Java写的 ，所以推荐首选学习java。再给你们举例说明下它们的分工和作用，java注重业务，大数据注重数据，前端是脸(页面显示)，java是胳膊(业务)，大数据是直男大脑，人工智能，深度学习是有情商的大脑。

**本人对于大数据学习创建了一个小小的学习圈子，为各位提供了一个平台，大家一起来讨论学习大数据。欢迎各位到来大数据学习群：868847735 一起讨论视频分享学习。大数据是未来的发展方向，正在挑战我们的分析能力及对世界的认知方式，因此，我们与时俱进，迎接变化，并不断的成长，掌握大数据核心技术，才是掌握真正的价值所在。**

例：

你：我渴了

直男大脑：呵呵，多喝水!

情商大脑：我这里有橙汁，矿泉水，绿茶，你喜欢哪个?不过看你平时喜欢喝饮料，要不要来一杯橙汁。

三、职业发展方向

学会了大数据，不需要从java做起，可以直接做大数据开发工程师等积累了几年的经验， 就可以做算法工程师了。看看学会了大数据可以从事哪些岗位：

大数据开发工程师

数据分析师

hadoop开发工程师

spark开发工程师

数据仓库开发工程师

数据清洗工程师(ETL)

大数据架构师

算法工程

四、优势

大数据受国家大力支持大量的资源都投资在这方面，大数据中心在贵州落坐，人工智能和云计算都基于大数据，需要大批大数据人才。

五、大数据人才薪资待遇

一般的一线城市大数据相关岗位平均月薪在12-15K 北京平均17K，大数据算法工程师，年薪在30万—50万左右。

六、学习大数据有学历/专业 有要求吗

高中也找到工作，但是大专以上学历更好，虽然是本科学历，但大学四年中也没有学习到实际的操作技能，学习到的东西在工作中用不到，只是在理解某些东西容易些。

七、大数据抓取数据手段有哪些?

爬虫、Flume

八、学大数据用会java的那些框架吗

SSHSSMSpringBootSpringCloud 这些框架在大数据中不会用到，对于学习技术的人来说，当然懂得这些技术会更好。

九、学习路线

javaSE + linux + Hadoop生态圈 + Strom + Spark + 算法

正常来讲学习大数据之前都要做到以下几点：

1.学习基础的编程语言(java,python)

2.掌握入门编程基础(linux操作，数据库操作、git操作)

3.学习大数据里面的各种框架(hadoop、hive、hbase、spark)

这是正常学习大数据必须要做到的三个步骤，如果有了java基础再去学习基本上已经成功了一半，起码不用为了基础语言的学习而恼火了。真正的大数据的学习不能仅仅停留在理论的层面上，比如现在经常用到的spark框架目前支持两种语言的开发java或者Scala，现在python语言也能支持了。大数据的方向的切入是全方位的，基础语言的学习只是很小的一个方面，编程落实到最后到编程思想，有了指导思想学习起来就能方便很多。

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/31561003/viewspace-2286120/，如需转载，请注明出处，否则将追究法律责任。