高性能、大数据、分布式运算概念入…

　　大数据的概念太大太宽泛了，感觉跟物联网有些类似。谁都可以说自己是做大数据的，谁都觉得自己是在做物联网。本着务实的心态，还得看看本质。个人感觉如果单纯用着工具，无论是什么，都不能认为自己技术NB了。过几年这个技术不火了，还是得面对就业和学习压力。就目前几个比较火的前沿技术而言

首先，何为大数据？

　　可我的 数据超过了5TB！你的命可真苦—— 只能苦逼地折腾Hadoop了。（所以折腾Hadoop是需要相当的数据级别的）

　　很多情况下，我们的数据量真是小得可怜。有些数据甚至是可以大量压缩的，实际信息更小。前文提到的硬币博弈中存储状态的csv文件332MB，经过7z压缩后也仅仅剩余3.97MB，说明数据冗余是很大的，重复数据很多。许多企业级别的数据库都提供了数据库压缩功能，而且由于算法优秀，很可能实际查询的时候感觉不到解压过程的存在。

　　 好几百MB的数据——excel都打不开，你只能苦命地 写程序来分析了。当然，一些视图化的大数据工具软件，也能让你像用excel一样方便地进行分析。

　　 10GB级别左右的数据——多加内存和硬盘！分享一个 用python的pandas库处理8.77 GB日志的例子。

　　 100GB/500GB/1TB的数据——不可能全部加载到内存了，内存没那么大了，也土豪不了。老实用个数据库吧。此时如果不强调实时运算，仅仅强调“可以处理”的话，就多买硬盘来存储就好。一篇文章推荐使用PostgreSQL数据库。但经过 对比SQLite、MySQL与PostgreSQL这几个数据库的优缺点，似乎看不出PostgreSQL对大规模数据支持更好的证据。MySQL似乎也可以通过更换内部引擎来达到提升性能的目的。有兴趣的也可以看看 PostgreSQL与MySQL对战。

　　说到大数据又不得不提几个概念：因特网上，作为域名系统服务器的机器性能，经常用 每秒查询率来衡量。

　　 TPS （Transaction Per Second 每秒事务处理量）TPS是LoadRunner中重要的性能参数指标。一个事务是指一个客户机向服务器发送请求，然后服务器做出反应的过程。客户机在发送请求时 开始计时，收到服务器响应后 结束计时，以此来计算使用的时间和完成的事务个数。

　　 QPS（Query Per Second 每秒查询率）

　　 FPS（Fetches Per Second 每秒的响应请求数，也即是最大吞吐能力）

　　大数据处理又分两类，一类是需要实时处理的，另一类不需要。

　　 不需要实时处理的就是近年来比较火的Hadoop解决方案，因为一台机子、服务器等装不下了，好几台连在一起——更进一步，Hadoop就是解决了大数据（大到一台计算机无法进行存储，一台计算机无法在要求的时间内进行处理）的可靠存储和处理问题。