大数据讲解

        

           

唐太宗说过：以铜为鉴，可以正衣冠，以人为鉴，可以明事理，以史为鉴，可以知兴替。说白了，大数据就是借鉴曾经的甚至正在进行的价值信息，来对需求进行优化和处理。而这里的优化和处理分析就用到了我们所说的大数据。

知己知彼，百战不殆。

什么是大数据呢？

特点：灵活性，时效性，易用性。

流程：

1,数据的收集和准备(Flume,Sqoop),

2,数据的存储(HDFS,Hbase),

3,数据的资源管理(YARN),

4,计算框架(MapReduce,Spark),

5,数据的分析(R),

6,数据的展示(D3).

从技术上来说，大数据就是，根据自己的需求，从互联网、物联网、企业等抓取出各种大量的结构化数据（DB），半结构化（文件），和非结化的数据（文件），其中也会含有各种实时流数据（日志）。这些数据通过sqoop等组件存储到HDFS中，这里的sqoop组件在这里是：提取数据的作用。

HDFS是我们这个大数据的一个总存储，有着类似“系统”的作用，他可以分为多个Namenode和和datanode组合。Namenode中存储着这些数据的元数据，而各种需求数据实际存储在各个的datanode中。所以在从HDFS中提取数据时都会询问namenode得到数据位置后再去datanode中取数据。其中会需要HDFS中专门的组件。

得到我们需求的数据后，我们要处理这些数据，为了高效处理和资源的充分利用，我们用到了YARN这个组件，YARN得到用户作业后，告诉其中的一个“司令官”（RM），司令官询问“参谋官”（AM）HDFS哪个节点上有空闲场地来进行工作，参谋官找到空闲场地后，生成一个NM节点，也就是作业场地进行工作。期间RM和AM都会根据需求进行场地的协调。

有了场地，我们就可以处理这些数据，这就用到了MapReduce或者Spark等计算框架，这里我们讲一下MapReduce，他分为Map和Reduce。Map用来把信息根据需求划分提取出来，Reduce再把提取出来的需求信息整合到一起。因为需求不同，我们的计算框架也是不同的。

得到上一步中提取的需求数据，我们就会对数据进行分析处理。此刻我们用到了R这个组件进行数据分析，分析后得到一些结果

得到的结果再用R进行数据展示。

比如一个物流公司：

贵公司中的物流信息正需要大数据来进行优化，根据大数据来处理：车货匹配、运输线路分析、销售预测与库存、供应链协同管理等。可以有效的为贵公司提高效益，带来方便，减少损失。

比如，我见过某快递公司门前很多运送车辆，两三天配不上货也是正常的事，放在那浪费资源。如果用到我们的大数据来分析，全国哪些地方网上购物量大，需求车辆多或者少，这样我们就知道那个地方放几辆车合适。这样就会实现车货的高效匹配。甚至还可以有效解决公共信息平台上没有货源或货源信息虚假。

我们知道了各个地方对各个货物需求量的信息后，就会把需求的货物量运送过去，这又用到了大数据分析，大数据分析出最短化、最优化的运输路线。这样节省了时间，就会运输更多的货物。运输过程中，每个车辆零件都会有一定的寿命，根据分析，我们就会设备修理预测，进行防御性的修理。如果没有我们的分析，就会造成延误和再装载的负担，并消耗大量的人力、物力。

把货物运过去后，根据货物量，就会对库存结构和降低库存存储成本。

需求预测、库存计划、资源配置、设备管理、渠道优化、生产作业计划、物料需求与采购计划，供应链协同管理。

订单、产能、调度、库存和成本间的关系，需要大量的数学模型、优化和模拟技术