一个苦逼工程师对大数据的一点浅谈

2012年12月13日中国云计算大会在中关村软件园开始了第二天的日程，由于同事无法参加，于是我便趁此机会感受一下IT领域的前沿科技，做为公司里一名普通工程师的我，也比较喜欢关注IT互联网领域里的最新动向，尤其是近几年涌现出了很多名词，比如云计算、虚拟化、大数据，这些披着华丽外衣的新鲜事物被各个厂家炒的不亦乐乎，有时候和同行们交流的时候，不整点新鲜词汇好像都被时代淘汰了一样。

　　对于一个每天埋头苦干的我来讲，接触最多的就是系统、数据库、应用等等，我们每天要很努力的保证他们不出意外，否则就要丢掉饭碗，而近年来虽然总是听到各个互联网大佬们都在谈论什么云计算、虚拟化等等，但是这些东西在头脑中总是没有一个清晰的概念，云到底为我们带来了什么？虚拟化身上到底有什么让人如此疯狂？到底多大的数据才算是大数据？其实我想真的只有置身于火海之中，才能感受到其中的魅力吧，虽然每天也在追求所谓的互联网趋势，但是趋势到底在哪里？

　　在这里我不会长篇大论互联网趋势，太多概念性的文章网上一搜一大把，这里主要记录我对大会的一点心得。

大数据

　　大会的主题是大数据，这是今天会议主会场讨论的焦点，现场嘉宾来自政府、海外，还有很多企业的主管等，但是需要承认的一点是80%讨论的内容我都听不懂，这其中包含了金融、教育、行业利益等等企业家们所关注的话题，这些对于一个关心底层技术的我来讲着实有点高深莫测，但是由谢文老师等人组成的圆桌会议讨论了很多我感兴趣的内容。

　　其实我所认为的大数据就是超级大的数据，他们跑在分布式架构的hadoop中，但是为什么不用oracle呢？为什么一定要用分布式系统呢？今天的会议给了我不错的答案。

　　如何在极短的时间内统计出用户在某一时刻的行为信息，这是在处理大数据过程中值得关注的一点，随着移动终端的普及，各个厂商的应用层出不穷，而这些信息就产生在日志记录中，最终随着时间的推移，日志越来越多，数据越来越大，将这些信息都扔掉吗？显然不能，对互联网敏感的大佬们早就看出了数据对于整个行业的影响力，举一个现实生活中的例子，我们去中介看房子、买房子等等，最后我们发现不只是中介这一家个公司给你打电话做推销，医疗、教育、甚至保险公司天天给你打电话，这是为什么呢？因为我们的信息、我们的个人数据被中介公司给卖掉了，我想这就是数据的价值，当然这是一个反面例子，但是我们想象一下，如果我们善用这些数据，那么我们的生活会发生怎样的变化，通过数据分析我们可以知道下一顿饭吃什么比较合适，通过分析我们可以了解自己是一个什么样的人，因为这些信息都来自平时上网时产生的动作记录，通过复杂的数据算法，计算出我们想要的种种结果，在未来可能会没有高考，每个人出生后就会有一个电子档案，里面记录了你从小到大的全部信息，情商、智力、学习成绩等等，到那时可能就不会单用高考这一个门槛来抉择一个人的命运。

分布式系统

　　通过上面来看，我们不难想象为什么会用到分布式处理系统，如果只是一个人一天的信息，那我有把握用一张纸就能算清楚，但是互联网每天产生的数据已经是pb级别了，如此繁多的数据一定需要有一个强有力的平台来计算，更何况在特定的时候我们要在几毫秒的时间内在pb级的数据中计算出我们想要的结果，这样也就不难理解在分布式系统中hadoop的重要性了，其大量数据的计算性能远远不是普通关系型数据库所能比拟的，站在这个角度上来看，我们就不难理解虚拟化的魅力所在了，在虚拟化的支持下可以极大的降低硬件成本，最大化的扩展硬件利用率，最后我们把这个庞大的系统理解为云。

未来机器替我们思考？

　　数据在经过及其复杂的计算后，我们得到了想要的结果，但我们会不会因此失去独立思考的能力呢？其实现在互联网的便利已经使大多数人离不开他，网络上我们叫这种人为搜素一族，什么事情他们都喜欢看看网络上给出的结果，而且还认为那是比较权威的答案。而随着数据时代的到来，人们可能会更加依赖于这个平台，例如前面所说，计算一下我们就可以知道下一餐吃什么比较好，甚至公司在招聘的时候都不用面试，只要通过计算就可以知道这个人的来龙去脉（当时是要在法律允许下）

　　在数据面前我们会不会失去思考，我们会不会离不开数据计算的结果，这依然是一个很有趣的迷。

写在最后

　　为了参会请了一天假，但是这一天还是比较值得的，通过一天的学习，我终于对这些华丽的名词有了那么一丁点的理解，在大会中不难看出每一个厂商对未来数据时代都充满了期待，这其中不仅包括硬件、技术，还包括更多的合作、利益、隐私及法律，最重要的是他有可能是即互联网时代后再次改写人类文明的新篇章。