大数据开发是先学习Hadoop还是spark,看10万程序猿所留下的结论

转载 2017年11月27日 00:00:00

首先,我先申明:任何以『做大数据好像挣得多』为名学习数据科学相关的内容都是不谨慎,而且难以有回报的。而且,任何『只要学会一两种工具就能做大数据』的想法也都是盲目的,难有成效的。

从目前我遇到过的面试者和看过的简历来看,凡是没有过大数据项目经验的人,简历写出花来都是扯淡。部署一个集群,装一个Hive,HBase什么的根本就不叫大数据(有的公司甚至部署Hadoop只用HDFS,每天处理5GB数据,这是我面过的一个人告诉我的他的工作经验)。一次处理1个TB以下的数据都不叫大数据(我还在权衡,是不是要提高这个量级)。

大数据是建立在数据科学基础上的,对编程、算法,分布式计算、统计学,线性代数,机器学习,系统构架都有比较高的要求。而且要看英文就像看中文一样(这条很重要,我一般对于不积极主动看英文资料的人没有什么太大的期待)。

我的建议是不要管什么Hadoop,Spark。把基础打牢,只要编程技巧和算法精通,能看英文文献,顺便学点概率统计,随便去哪个公司都能应聘大数据的岗位,等有了项目环境,上手Hadoop或者Spark还不是分分钟的事~

分享之前我还是要推荐下我自己创建的大数据学习资料分享群 232840209,这是全国最大的大数据学习交流的地方,2000人聚集,不管你是小白还是大牛,小编我都挺欢迎,今天的源码已经上传到群文件,不定期分享干货,包括我自己整理的一份最新的适合2017年学习的前端资料和零基础入门教程,欢迎初学和进阶中的小伙伴。

640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1

0?wx_fmt=jpeg

0?wx_fmt=jpeg

关于大数据的含义前面也有人说了,你想学的是技术层面的话,你所列出的两个编程工具并不存在过多需要纠结的地方,有位高手告诉我,它们都是数据分布运算的一种中间环节和处理过程。

我倒是认为大数据处理和分析中更重要的是和各行业相结合的分析思路和方法,也就是特定场景下的数据分析,这需要你找准自己喜欢并愿意作为事业的方向,比如,选择金融数据分析,健康数据分析等,在这些领域里你的知识有多广,决定了你为未来有多高。

大数据的发展之路还有很多年,你还有时间,加油!

0?wx_fmt=gif



新手都会遇到的问题 该学hadoop?还是spark?

问题: 毕业了,找的工作不是太满意。听师兄说大数据这方向不错,准备学大数据,但不知道应该学Hadoop还是Spark。 Hadoop的话我有些Java基础,估计相对容易一些。 但据说Spar...
  • away30
  • away30
  • 2017-09-18 11:37:09
  • 689

最近学习hadoop和spark的一些心得

对于新人来说,学习hadoop和spark最大的门槛就是如何安装它们俩,网上有很多关于这方面的信息,但是有挺多安装过程是有问题的,或者是没有具有普遍性,所以当选择错了安装教程后,有时候可能会导致浪费了...
  • chengdianxuezi
  • chengdianxuezi
  • 2015-09-18 15:34:53
  • 1138

大数据处理为何选择Spark,而不是Hadoop

一.基础知识 1.Spark Spark是一个用来实现快速而通用的集群计算的平台。 在速度方面,Spark扩展了广泛使用的MapReduce计算模型,而且高效地支持更多计算模式,包括交互式查询和...
  • a123demi
  • a123demi
  • 2017-05-04 16:32:11
  • 1030

大数据Hadoop与Spark学习经验谈

大数据Hadoop与Spark学习经验谈
  • u013067629
  • u013067629
  • 2016-12-11 09:59:57
  • 5496

Hadoop、Spark等5种大数据框架对比,你的项目该用哪种?

Hadoop、Spark等5种大数据框架对比,你的项目该用哪种? 2016-11-23 大愚若智 译 InfoQ 作者丨Justin  Ellingwood 译者丨大愚若...
  • fidelhl
  • fidelhl
  • 2016-11-23 08:33:48
  • 6446

hadoop spark环境搭建及idea scala maven集成开发spark任务

hadoop + spark 环境搭建以及演示scala + spark + maven 项目集成 打包 向spark 平台submit任务 spark-history-server 配置 和 查看 ...
  • cauclilin
  • cauclilin
  • 2017-08-07 19:45:10
  • 861

Spark+Hadoop环境搭建

一、工具下载: 1、spark下载 目前最新的是2.1.1,spark 2.0开始api和之前的还是有比较多的变化,因此如果选择2.0以上版本,最好看一下api变化,下载地址:http://spark...
  • u012292247
  • u012292247
  • 2017-06-17 11:51:22
  • 2067

Spark+hadoop 开发总结

错误总结: 1.Caused by: java.lang.ClassNotFoundException: scala.xml.MetaData 解决:POM配置依赖 dependency> d...
  • dymkkj
  • dymkkj
  • 2018-01-22 14:37:54
  • 321

Spark 环境搭建 (hadoop之上)

1、前提是Hadoop环境已经搭建完成,ssh当然也已经配置完成,官网下载软件包: scala-2.11.0.tgz spark-2.1.0-bin-hadoop2.6.tgz 使用了两台虚...
  • beishafengjiang
  • beishafengjiang
  • 2017-02-14 15:40:14
  • 1503

大数据经典学习路线(storm,spark)

1.Linux基础和分布式集群技术 学完此阶段可掌握的核心能力: 熟练使用linux,熟练安装Linux上的软件,了解熟悉负载均衡、高可靠等集群相关概念,搭建互联网高并发、高可靠的服务...
  • zhubing10061210
  • zhubing10061210
  • 2017-06-19 09:30:16
  • 2006
收藏助手
不良信息举报
您举报文章:大数据开发是先学习Hadoop还是spark,看10万程序猿所留下的结论
举报原因:
原因补充:

(最多只允许输入30个字)