大数据技术原理与应用学习笔记（一）

最新推荐文章于 2021-08-23 00:18:42 发布

Ragnaros the Firelord

最新推荐文章于 2021-08-23 00:18:42 发布

阅读量1.8k

点赞数 4

分类专栏：大数据学习笔记文章标签：大数据 hadoop 分布式

本文链接：https://blog.csdn.net/qq_43654282/article/details/117426328

版权

大数据学习笔记专栏收录该内容

14 篇文章 19 订阅

订阅专栏

本文回顾了大数据的起源、发展史，阐述了'4V'特性和影响，涉及云计算、物联网的融合，以及大数据在科学研究和思维方式转变中的作用。重点讲解了大数据的关键技术如分布式存储和处理，以及不同计算模式的应用实例。

摘要由CSDN通过智能技术生成

写在前面

临近期末考试，决定系统的复习一下《大数据技术原理与应用》这门课。文章中提到的基本都是我根据知识点筛选出来的，如果有缺少欢迎大家补充指正。文章主要参考教材《大数据技术原理与应用（第3版）》和林子雨老师的大数据技术mooc课程。
课程相关课件可点击此处下载

大数据概述

第三次信息化浪潮

三次信息化浪潮的时间

信息化浪潮	发生时间	标志	解决的问题	代表企业
第一次信息化浪潮	1980年前后	个人计算机	信息处理	Intel、AMD、IBM、苹果、微软、联想、戴尔、惠普等
第二次信息化浪潮	1995年前后	互联网	信息传输	雅虎、谷歌、阿里巴巴、百度、腾讯等
第三次信息化浪潮	2010年前后	大数据、云计算和物联网	信息爆炸	亚马逊、谷歌、IBM、VMware、Palantir、Hortonworks、Cloudera、阿里云等

信息科技为大数据时代提供技术支撑

信息科技需要解决信息存储、信息处理和信息传输3个核心问题。

信息存储：存储设备容量不断增加
信息处理：CPU处理能力大幅提升
信息传输：网络带宽不断增加

数据产生方式的变革促成大数据时代的来临

人类数据产生方式大致经历了3个阶段

运营式系统阶段、用户原创内容阶段、感知式系统阶段

大数据的发展历程

大体上可分为3个阶段：

阶段	时间	内容
第一阶段：萌芽期	20世纪90年代-21世纪初	一批商业智能工具和知识管理技术开始被应用(数据仓库、专家系统等)
第二阶段：成熟期	21世纪前10年	形成了并行计算和分布式系统两大核心技术，Hadoop平台开始盛行
第三阶段：大规模应用期	2010年以后	大数据应用渗透到各行各业，数据驱动决策，信息社会智能化程度大幅提高

大数据概念

“4V”说法

“4V”说法可以被认为是大数据的4个特点：

数据量大
数据类型繁多
处理速度快
价值密度低

大数据的影响

大数据对科学研究的影响

人类历史上的科学研究分别经历了4种范式：

实验科学
理论科学
计算科学
数据密集型科学

大数据对思维方式的影响

大数据时代最大的转变就是思维方式的3种转变：

全样而非抽样
效率而非精确
相关而非因果

大数据的应用

大数据无处不在，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业都已经融入了大数据的印迹
大数据应用领域

※大数据的关键技术

两大核心技术：分布式存储和分布式处理

大数据的计算模式

大数据计算模式	解决问题	代表产品
批处理计算	针对大规模数据的批量处理	MapReduce、Spark等
流计算	针对流数据的实时计算	Flink、Storm、S4、Flume、Streams、Puma、DStream、Super Mario、银河流数据处理平台等
图计算	针对大规模图结构数据的处理	Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等
查询分析计算	大规模数据的存储管理和查询分析	Dremel、Hive、Cassandra、Impala等

云计算、大数据和互联网

云计算

云计算的概念

云计算是分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后，通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。
现阶段所说的云服务已经不单单是一种分布式计算，而是分布式计算、效用计算、负载均衡、并行计算、网络存储、热备份冗杂和虚拟化等计算机技术混合演进并跃升的结果。

云计算的关键技术

虚拟化、分布式存储、分布式计算、多租户等

云计算的分类

云计算包括公有云、私有云和混合云。

三种云服务

IaaS：（基础设施即服务）面向网络架构师，为基础设施层
PaaS：（平台即服务）面向应用开发者，为平台层
SaaS：（软件即服务）面向用户，为应用层

云计算的优势

对于社会而言，云计算的优势主要有：

云计算降低全社会的IT能耗，减少排放，真正做到”绿色计算“。
提高全社会的IT设备使用率，并降低电子产品的数量，从而减少因设备淘汰而产生的电子产品垃圾，对于保护环境大有裨益

物联网

物联网的概念

物联网是指通过各种信息传感器、射频识别技术、全球定位系统、红外感应器、激光扫描器等各种装置与技术，实时采集任何需要监控、连接、互动的物体或过程，采集其声、光、热、电、力学、化学、生物、位置等各种需要的信息，通过各类可能的网络接入，实现物与物、物与人的泛在连接，实现对物品和过程的智能化感知、识别和管理。物联网是一个基于互联网、传统电信网等的信息承载体，它让所有能够被独立寻址的普通物理对象形成互联互通的网络。