实施大数据过程中遇到的13个问题

随着互联网技术的发展，近两年，大数据和云计算越来被重视，各大网络巨头更是纷纷投资大数据和云计算领域，那么关于大数据的一些知识就有必要做一些普及，下面是做大数据过程中遇到的13个问题和解决办法。

1、最早的数据分析可能就报表

目前很多数据分析后的结果，展示的形式很多，有各种图形以及报表，最早的应该是简单的几条数据，然后搞个web页面，展示一下数据。早期可能数据量也不大，随便搞个数据库，然后SQL搞一下，数据报表就出来了。但是数据量大起来怎么分析呢?数据分析完了怎么做传输呢?这么大的数据量怎么做到实时呢?分析的结果数据如果不是很大还行，如果分析的结果数据还是很大改怎么办呢?这些问题在这篇文章中都能找到答案，下面各个击破。

2、要做数据分析，首先要有数据

这个标题感觉有点废话，不过要做饭需要食材一样。有些数据时业务积累的，像交易订单的数据，每一笔交易都会有一笔订单，之后再对订单数据作分析。但是有些场景下，数据没法考业务积累，需要依赖于外部，这个时候外部如果有现成的数据最好了，直接join过来，但是有时候是需要自己获取的，例如搞个爬虫爬取网页的数据，有时候单台机器搞爬虫可能还爬不完，这个时候可能就开始考虑单机多线程爬取或者分布式多线程爬取数据，中间涉及到一个步骤，就是在线的业务数据，需要每天晚上导入到离线的系统中，之后才可以进行分析。

3、有了数据，咋分析呢?

先将数据量小的情况下，可能一个复杂的SQL就可以搞出来，之后搞个web服务器，页面请求的时候，执行这个SQL，然后展示数据，好了，一个最简单的数据分析，