2022大数据学习笔记1

基础背景

第一次信息化浪潮：1980年前后，标志为个人计算机，主要功能为信息处理。

第二次信息化浪潮：1995年前后，标志为互联网普及，主要功能为信息传输。

第三次信息化浪潮：2010年前后，标志为物联网、云计算、大数据，主要功能为信息爆炸。

大数据的概念

4v：volume（大量化）、velocity（快速化）、variety（多样化）、value（价值密度低）

大数据摩尔定律：人类在最近两年产生的数据量相当于之前产生的全部数据量。

大数据的应用

大数据的应用领域：理解客户需求、业务流程优化、监控身体情况、智能医疗研发、研发智能汽车、实时掌控交通情况、金融交易等。

大数据关键技术

分布式存储：将数据分散存储在多台独立的设备上。

                     元数据管理、系统弹性扩展技术、存储层级内的优化技术、针对应用和负载的存储优化技术。

分布式处理：批处理计算（MapReduce、Spark）——针对大规模数据的批量处理

                      流计算（S4、Storm、Flume）——针对流数据的实时计算

                      图计算（Google Pregel）——针对大规模图结构数据的处理

                      查询分析计算（Google Dremel、Hive、Cassandra）——大规模数据的存储管理和查询分析

云计算

关键技术：虚拟化、多租户、分布式存储、分布式计算

概念：通过网络以服务的方式为用户提供非常廉价的IT资源

三种形式：公有云、私有云、混合云

三种云服务：IaaS（基础设施即服务）、PaaS（平台即服务）、SaaS（软件即服务）