大数据计数原理与应用——笔记——大数据概述

　　大数据的由来：2010年前后第三次信息化浪潮，提出了物联网、云计算和大数据概念。

　　大数据时代的计数支撑：存储设备容量不断增加、CPU处理能力大幅提升、网络带宽不断增加。【存储、计算、网络】

　　数据产生方式的变革促成大数据时代的到来：运营式系统阶段——用户原创内容阶段——感知式系统阶段

　　　　【运营活动产生的数据存储到数据库（数据是被动产生的）——web2.0时代用户原创内容（移动设备加速内容产生，数据是主动产生的）——感知式系统的广泛应用（摄像头等等传感器，每时每刻在产生数据）】

 

　　大数据概念　

　　　　大数据的特性（4V）:  大量化Volume、快速化Velocity、多样化Variety、价值化Value

　　　　　　　　　　　　　　　　数据量大、处理速度快、数据类型繁多、价值密度低

　　　　大数据摩尔定律：数据一直都在以每年50%的数据增长。

　　　　大数据的思维方式：1、全样而非抽样  2、效率而非精确  3、相关而非因果

　　　　大数据的关键技术：数据采集、数据存储和管理、数据处理与分析、数据隐私和安全

　　　　　　两大核心技术：分布式存储、分布式处理

　　大数据的计算模式

计算模式	解决问题	代表产品
批处理计算	针对大规模数据的批量处理	MapReduce、Spark等
流计算	针对流数据的实时计算	Storm、S4、Flume等
图计算	针对大规模图结构数据的处理	Pregel、GraphX、Giraph等
查询分析计算	大规模数据的存储管理和查询分析	Dremel、Hive、Cassandra等

　　　大数据与云计算、物联网的关系

　　　云计算、大数据和物联网代表了IT领域最新的技术发展趋势，三者相辅相成，既有联系又有区别。

　　　　　　云计算为大数据提供了技术基础，大数据为云计算提供用武之地。

　　　　　　物联网是大数据的重要来源，大数据技术为物联网数据分析提供支撑。

　　　　　　云计算为物联网提供海量数据存储能力，物联网为云计算技术提供广阔的应用空间。

 

　　　　云计算概念：云计算实现了通过网络提供可伸缩的、廉价的分布是计算能力，用户只需要在具备网络接入条件的的房，就可以随时随地获得所需的各种IT资源。

　　　　云计算的典型特点：解决了分布式存储了分布式处理的问题、虚拟化和多租户

　　　　云计算的三个层次：基础设施服务（IaaS）、平台服务（PaaS）、软件应用服务（SaaS）

　　　　物联网（IOT）概念：物联网是物物相连的互联网，是互联网的延伸，利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式联在一起，形成人与物、物与物相联，实现信息化和远程管理控制。

　　　　物联网的层次架构：感知层——网络层——处理层——应用层

　　　　物联网的关键技术：识别和感知技术（二维码、RFID、传感器等）、网络与通信技术、数据挖掘与融合技术

　　　　

　　　　

 

转载于:https://www.cnblogs.com/rix-yb/p/9608926.html