2014年末总结：对大数据处理的一点思考

概要

2014大部分的时间都花在了Spark这一大数据领域的热点技术上，并由此离开工作多年的电信领域转入到大数据分析行业，作为一名分析领域的新军有必要对自己一年中接触到的新内容作相应的梳理。

大数据处理

大数据处理的理解可以分成这几个层次：

1. 数据处理
   1. 处理的种类有哪些
   2. 如何将处理落实到计算上
2. 大数据的处理
   1. 处理的种类有哪些
   2. 如何将处理落实到计算

上面这样一列，你可能会觉着一样的啊，没区别啊，除了一个大字以外，一切似乎都一样的。粗看确实如此，从目前大数据领域的实践来看，分析需求层面几乎和原有的没有太大的区别。

当然目前还有一个很火很牛逼的新兴领域叫机器学习，这玩意究竟能带来什么实际的改变，还有待时间的进一步验证。

如果换个角度来看大数据处理，就需要从需求和实现两个方面来分析，看看需求领域有哪些内容，这些需求又是如何通过哪些技术来实现的。

为此我整理了一份思维导图，也算是个人的一种理解吧。