大数据开发是先学习Hadoop还是spark,看10万程序猿所留下的结论

转载 2017年11月27日 00:00:00

首先,我先申明:任何以『做大数据好像挣得多』为名学习数据科学相关的内容都是不谨慎,而且难以有回报的。而且,任何『只要学会一两种工具就能做大数据』的想法也都是盲目的,难有成效的。

从目前我遇到过的面试者和看过的简历来看,凡是没有过大数据项目经验的人,简历写出花来都是扯淡。部署一个集群,装一个Hive,HBase什么的根本就不叫大数据(有的公司甚至部署Hadoop只用HDFS,每天处理5GB数据,这是我面过的一个人告诉我的他的工作经验)。一次处理1个TB以下的数据都不叫大数据(我还在权衡,是不是要提高这个量级)。

大数据是建立在数据科学基础上的,对编程、算法,分布式计算、统计学,线性代数,机器学习,系统构架都有比较高的要求。而且要看英文就像看中文一样(这条很重要,我一般对于不积极主动看英文资料的人没有什么太大的期待)。

我的建议是不要管什么Hadoop,Spark。把基础打牢,只要编程技巧和算法精通,能看英文文献,顺便学点概率统计,随便去哪个公司都能应聘大数据的岗位,等有了项目环境,上手Hadoop或者Spark还不是分分钟的事~

分享之前我还是要推荐下我自己创建的大数据学习资料分享群 232840209,这是全国最大的大数据学习交流的地方,2000人聚集,不管你是小白还是大牛,小编我都挺欢迎,今天的源码已经上传到群文件,不定期分享干货,包括我自己整理的一份最新的适合2017年学习的前端资料和零基础入门教程,欢迎初学和进阶中的小伙伴。

关于大数据的含义前面也有人说了,你想学的是技术层面的话,你所列出的两个编程工具并不存在过多需要纠结的地方,有位高手告诉我,它们都是数据分布运算的一种中间环节和处理过程。

我倒是认为大数据处理和分析中更重要的是和各行业相结合的分析思路和方法,也就是特定场景下的数据分析,这需要你找准自己喜欢并愿意作为事业的方向,比如,选择金融数据分析,健康数据分析等,在这些领域里你的知识有多广,决定了你为未来有多高。

大数据的发展之路还有很多年,你还有时间,加油!



hadoop、storm和spark的区别、比较

1、hadoop、Storm该选哪一个?为了区别hadoop和Storm,该部分将回答如下问题: 1.hadoop、Storm各是什么运算 2.Storm为什么被称之为流式计算系统 3.hado...
  • bitcarmanlee
  • bitcarmanlee
  • 2016年11月05日 21:28
  • 12702

Hadoop、Storm、Spark这三个大数据平台有啥区别,各有啥应用场景?

Storm与Spark、Hadoop这三种框架,各有各的优点,每个框架都有自己的最佳应用场景。 所以,在不同的应用场景下,应该选择不同的框架。 Storm是最佳的流式计算框架,Storm由Ja...
  • w1014074794
  • w1014074794
  • 2016年02月18日 17:26
  • 7995

新手都会遇到的问题 该学hadoop?还是spark?

问题: 毕业了,找的工作不是太满意。听师兄说大数据这方向不错,准备学大数据,但不知道应该学Hadoop还是Spark。 Hadoop的话我有些Java基础,估计相对容易一些。 但据说Spar...
  • away30
  • away30
  • 2017年09月18日 11:37
  • 217

spark 与 hadoop的hdfs的连接(亲测有效)

出处::http://blog.csdn.net/oopsoom/article/details/24257981, 目前Spark的Run on的Hadoop版本大多是hado...
  • xingzhiqing
  • xingzhiqing
  • 2017年04月03日 21:39
  • 2802

大数据之” Hadoop,Spark和Storm

大数据(Big Data) 大数据,官方定义是指那些数据量特别大、数据类别特别复杂的数据集,这种数据集无法用传统的数据库进行存储,管理和处理。大数据的主要特点为数据量大(Volume),数据...
  • zhangshangui_2015
  • zhangshangui_2015
  • 2016年10月20日 10:58
  • 1125

Hadoop、Spark等5种大数据框架对比,你的项目该用哪种?

Hadoop、Spark等5种大数据框架对比,你的项目该用哪种?   本文将介绍并对比5种主流大数据框架,助你更深层次了解这些框架,从而在项目中更好地使用它们。   本文首发于...
  • yimingsilence
  • yimingsilence
  • 2017年02月17日 17:01
  • 5819

Hadoop、Spark等5种大数据框架对比,你的项目该用哪种?

Hadoop、Spark等5种大数据框架对比,你的项目该用哪种? 2016-11-23 大愚若智 译 InfoQ 作者丨Justin  Ellingwood 译者丨大愚若...
  • fidelhl
  • fidelhl
  • 2016年11月23日 08:33
  • 5040

大数据处理为何选择Spark,而不是Hadoop

一.基础知识 1.Spark Spark是一个用来实现快速而通用的集群计算的平台。 在速度方面,Spark扩展了广泛使用的MapReduce计算模型,而且高效地支持更多计算模式,包括交互式查询和...
  • a123demi
  • a123demi
  • 2017年05月04日 16:32
  • 566

大数据技术大合集:Hadoop家族、Cloudera系列、spark、storm

大数据我们都知道hadoop,可是还会各种各样的技术进入我们的视野:Spark,Storm,impala,让我们都反映不过来。为了能够更好 的架构大数据项目,这里整理一下,供技术人员,项目经理,架构师...
  • u010419967
  • u010419967
  • 2016年03月30日 18:46
  • 1558

大数据平台搭建(hadoop+spark)

大数据平台搭建(hadoop+spark) 一.基本信息 1. 服务器基本信息 主机名 ip地址 安装服务 spark-master ...
  • bailu66
  • bailu66
  • 2016年12月24日 23:06
  • 2411
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:大数据开发是先学习Hadoop还是spark,看10万程序猿所留下的结论
举报原因:
原因补充:

(最多只允许输入30个字)