如何学好大数据

前言

说出来你可能不信，虽然做大数据已经六年多了，学习大数据的念头却是最近才有的。前几天，为了弄明白CAP定理到底怎么证明，真是跋山涉水缘木求鱼，可谓上下而求索。在知乎、stackoverflow等处发了问题之后，我突然想到，还有大数据的QQ群和贴吧嘛，也可以去里面问问。

贴吧里分享大数据资料的倒是不少，不过一旦留下邮箱，却收到这样的邮件

image.png

image.png

喂，说好的种子呢！！白让我说“好人一生平安，楼主1024”了！！

加了几个大数据的QQ群，还没问我技术问题呢，就都干净利索把我拒绝了

image.png

image.png

仔细一看，这不就是分享资料的老哥么？真是个闭环啊。。。

所以一怒之下，自己建了个群，把想在闲鱼上卖掉的学习资料放到群文件里，自己当群主，自娱自乐。

我的大数据之路

群里人多了以后，好多人问我怎么学好大数据，真是很难回答，只能讲讲自己是怎么入的门，仅供大家参考。

首先说说当时为什么要做大数据。现在很多人想做，无非是培训机构各种洗脑，感觉一出来就月入过万了。而我那个时候的想法其实很简单，就是单纯觉得好玩。因为自从工作以后，就一直做java web，我接触的java web项目，就是一个tomcat加一个mysql，穷极无聊，开始学习数据库相关知识，记得看完的第一本书，叫《高性能Mysql》，关于索引、事务，undo和redo log都了解了不少，然后知道数据库也可以做高可用，也可以做线性扩展，后来才知道还有分布式数据库这一说，于是开始知道了大数据这个概念。

当时自学的第一门技术是hadoop，简直是囫囵吞枣死记硬背，跑个map reduce的word count都欢天喜地。不过自己在家闭门造车总是觉得不行，开始研究换个大数据相关的工作。那时候也挺蠢，只知道在招聘网站上搜hadoop相关的职位，大连貌似只有一家，投了简历都石沉大海，后来大数据圈子混时间长了才知道，那个公司那时候都黄了。。。

半年以后，才面了一个大数据项目组，不过他们就缺一个前端，而且也没什么高级职位的编制，只有初级软件工程师，跳过去工资基本没变。当时也真是热血青年，对技术有发自内心的热爱，就跑去项目组里画页面去了——顺便说一句，当时自己用的flex技术，现在完全看不懂了。。。

白天画页面，晚上学分布式系统，正式开始了大数据的职业生涯。有什么学习规划么？没有。天天忙得要死，哪有时间规划。用到什么就学什么呗。一个接一个的项目，一个接一个的技术，一直到了今天。

所以怎么学好大数据呢？首先你要热爱它，不管是喜欢研究技术还是想挣大钱，都要有动力。然后你要运气好，有一个实战的机会。当然你基础要牢固，要不基本也不会有实战的机会了。

到底什么是大数据

上学的时候，老师说程序就是算法加上数据结构，那么大数据呢？我理解就是处理海量数据的程序，所以也就是处理海量数据的算法和数据结构。海量数据情况下，单台服务器不能满足需要，就需要多台服务器协同工作。这些服务器如何高效的存储数据，如何快捷的互相通信，如何迅速的对用户请求做出响应，如何利用分散的数据挖掘价值，都是大数据需要解决的。

大数据目前有两个方向：

1. 从工程师到架构师。这个方向我理解主要是正确构建或者使用分布式系统，主要以工程应用为主，比如如何使用分布式数据库构建应用程序，如何在海量数据上构建及时响应的查询工具。这需要了解分布式系统的各种特性，比如何如取得最低的延迟，如何保证最高的可用性，如何给用户一个合理的响应结果。
2. 从算法工程师到数据科学家。其实很久以前就有专门的学科进行数据中价值的提取，比如数据挖掘和机器学习，但是到了大数据时代，数据量的急剧膨胀和人们对于数据中商业价值的迫切需求促使它们摇身一变，成为了数据科学。需要掌握数学的基本概念，各种算法的原理，在分布式场景下的应用。

如何学好Java

一说起大数据，好多人都问是不是要学好java。实际上很多大数据软件都是别的语言写的，比如kudu和storm（写storm的Clojure语言和面向对象简直是两个世界），但是生态圈的核心hadoop是java的，所以姑且认为学大数据要先学java。

如何学好java呢？也很难回答。因为看了一下java的知识点，真是太多了。以我多年工作经验来看，对于大部分工作来说，IO、并发、网络这些，基本只出现在面试中，平时神龙见首不见尾，要说用得上的，还得是java web。但是现在业内都是“工作拧螺丝，面试造航母”，所以不学不行啊。

零基础怎么学好大数据

最怕群里的同学问我怎么跨零基础学好大数据，可能培训机构太相信“人有多大胆，地有多大产”了吧。其实我也算零基础学的大数据，可是毕竟也学了四年软件工程，做了四年java，所以如果是跨专业完全零基础的学大数据。。。

image.png

原文作者：大神带我来搬砖
爱好历史和武侠，专注java、大数据的程序员小哥哥。
学习资料共享，技术问题讨论，希望和大家一起交流进步。