大数据简介

目录

1、大数据概述

• 传统数据处理介绍

2、什么是大数据？（Big Data）

3、传统数据与大数据的对比

4、大数据的特点

•       数据集主要特点
•       其他特征
•      传统数据与大数据处理服务器系统安装对比

5、大数据生态系统

• 新技术

6、大数据技术为什么快？

• 大数据技术快的原因

---

1、大数据概述

• 传统数据处理介绍

       数据来源:

         1、企业内部管理系统 ,如员工考勤（打卡）记录。

          2、客户管理系统（CRM）

       数据特征：

         1、数据增长速度比较缓慢，种类单一。

         2、数据量为GB级别，数据量较小。

      数据处理方式：

         1、数据保存在数据库中。处理时以处理器为中心，应用程序到数据库中检索数据再进行计算（移动数据到程序端）

      遇到的问题：

         1、数据量越来越大、数据处理的速度越来越慢。

         2、数据种类越来越多，出现很多数据库无法存储的数据，如音频、照片、视频等。

2、什么是大数据？（Big Data）

          是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

         是指一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

         数据的存储单位

         最小的基本单位是bit

         1 Byte =8 bit

         1 KB = 1,024 Bytes = 8192 bit

          KB --->MB---> GB ---> TB --->PB---> EB --->ZB--->YB ---> BB --->NB---> DB  进率1024

3、传统数据与大数据的对比

4、大数据的特点

        数据集主要特点

                Volume（大量）:  数据量巨大，从TB到PB级别。

                Velocity（高速）:  数据量在持续增加(两位数的年增长率)。

                Variety（多样）:   数据类型复杂，超过80%的数据是非结构化的。

                Value（低密度高价值）:  低成本创造高价值。

        其他特征

                数据来自大量源，需要做相关性分析。

                需要实时或者准实时的流式采集，有些应用90%写vs.10%读。

                数据需要长时间存储，非热点数据也会被随机访问。 

                传统数据与大数据处理服务器系统安装对比

 传统数据下服务器系统安装

        在传统数据背景下，服务器系统安装中，系统硬盘、数据硬盘完全隔离。通常会将多块数据硬盘制作成LVM(逻辑卷)，即将多块物理硬盘通过软件技术“拼接”在一起形成一个大的硬盘（逻辑上是一个硬盘）。

大数据下服务器系统安装

        在大数据背景下，服务器系统安装中，系统硬盘、数据硬盘完全隔离。数据硬盘必须独立挂载，每个硬盘挂载到系统的一个独立的目录下。

5、大数据生态系统

        大数据：历史数据量逐渐攀升、新型数据类型逐渐增多。是企业必然会遇到的问题

        新技术：传统方式与技术无法处理大量、种类繁多的数据，需要新的技术解决新的问题。

        技术人员：有了问题，有了解决问题的技术，需要大量懂技术的人解决问题。

        最佳实践：解决 问题的方法，途径有很多，寻找最好的解决方法。

        商业模式：有了最好的解决办法，同行业可以复用，不同行业可以借鉴，便形成了商业模式。

新技术

        HADOOP

                HDFS:       海量数据存储。

                YARN:       集群资源调度。

                MapReduce:    历史数据离线计算。

        Hive:海量数据仓库。  

                Hbase:海量数据快速查询数据库。

                Zookeeper:集群组件协调。

        Impala:是一个能查询存储在Hadoop的HDFS和HBase中的PB级数据的交互式查询引擎。

        Kudu:是一个既能够支持高吞吐批处理，又能够满足低延时随机读取的综合组件

                Sqoop:数据同步组件（关系型数据库与hadoop同步）。

                Flume :海量数据收集。

        Kafka:消息总线。

        Oozie:工作流协调。

        Azkaban: 工作流协调。

        Zeppelin: 数据可视化。

        Hue: 数据可视化。

        Flink:实时计算引擎。

        Kylin: 分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析。

        Elasticsearch: 是一个分布式多用户能力的全文搜索引擎。

        Logstash: 一个开源数据搜集引擎。

        Kibana: 一个开源的分析和可视化平台。

        SPARK   SparkCore:Spark 核心组件

        SparkSQL:高效数仓SQL引擎

        Spark Streaming: 实时计算引擎

        Structured: 实时计算引擎2.0

        Spark MLlib:机器学习引擎

        Spark GraphX:图计算引擎

6、大数据技术为什么快？

传统数据与大数据处理方式对比

纵向扩展：

        表示在需要处理更多负载时通过提高单个系统处理能力的方法来解决问题。最简单的情况就是为应用系统提供更为强大的硬件。例如如果数据库所在的服务器实例只有2G内存、低配CPU、小容量硬盘，进而导致了数据库不能高效地运行，那么我们就可以通过将该服务器的内存扩展至8G、更换大容量硬盘或者更换高性能服务器来解决这个问题

横向扩展

        是将服务分割为众多的子服务并在负载平衡等技术的帮助下在应用中添加新的服务实例

        例如如果数据库所在的服务器实例只有一台服务器，进而导致了数据库不能高效地运行，那么我们就可以通过增加服务器数量，将其构成一个集群来解决这个问题。

资源集中（计算与存储）

        集中式计算：数据计算几乎完全依赖于一台中、大型的中心计算机的处理能力。和它相连的终端(用户设备)具有各不相同的智能程度。实际上大多数终端完全不具有处理能力，仅仅作为一台输入输出设备使用。

        集中式存储：指建立一个庞大的数据库，把各种信息存入其中，各种功能模块围绕信息库的周围并对信息库进行录入、修改、查询、删除等操作的组织方式。

分布式（计算与存储）

        分布式计算：是一种计算方法，是将该应用分解成许多小的部分，分配给多台计算机进行处理。这样可以节约整体计算时间，大大提高计算效率。

        分布式存储：是一种数据存储技术，通过网络使用企业中的每台机器上的磁盘空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散的存储在企业的各个角落，多台服务器。

大数据技术快的原因

         1、分布式存储

         2、分布式并行计算

         3、移动程序到数据端

         4、更前卫、更先进的实现思路

         5、更细分的业务场景

         6、更先进的硬件技术+更先进的软件技术