大数据技术原理与应用笔记（1）——大数据概述

最新推荐文章于 2021-08-23 00:18:42 发布
最新推荐文章于 2021-08-23 00:18:42 发布
阅读量3.1k 收藏 4
点赞数 1
分类专栏： 大数据技术与原理 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/L_zzwwen/article/details/89597961
版权
本文是《大数据技术与原理》课程笔记的第一部分，主要介绍大数据的基本概念，包括四大特征：大量化、多样化、快速化和价值化。讨论了数据的产生方式，从运营式系统到感知式系统的演变，以及大数据技术的发展如何支撑数据处理。同时，阐述了大数据对科研范式和思维方式的影响，如数据驱动的研究和全样分析。最后，探讨了大数据的关键技术，如数据采集、存储管理、处理分析，以及数据隐私和安全问题。
摘要由CSDN通过智能技术生成

大数据概述

《大数据技术与原理》课程笔记

目录

1.1大数据概念

1.2数据产生方式

1.3技术支撑

1.4大数据的影响

1.5大数据的关键技术

1.6大数据的计算模式

1.1大数据概念

（1）数据量大/“大量化”

（2）数据类型繁多/“多样化”

10%结构化数据，90%非结构化数据

（3）处理速度快/“快速化”

1秒定律——秒级决策

（4）价值密度低，商业价值高/“价值化”

1.2数据产生方式

运营式系统阶段——>用户原创内容阶段——>感知式系统阶段

感知式系统阶段也就是物联网的大规模普及，物联网的迅速发展让大数据最终到来。

1.3技术支撑

（1）存储设备容量不断增大

（2）CPU处理能力大幅提升

（3）网络带宽不断增加

1.4大数据的影响

（1）科学研究

最低0.47元/天 解锁文章
Lzzwwen
关注
专栏目录
《大数据技术原理与应用》笔记
zjlamp的博客
11-25 1万+
一、大数据概述 大数据的特征（4V）： 1、Volume，数据量大 2、Variety，数据类型多 大数据由结构化和非结构化数据组成： 10%的结构化数据，存储在数据库中； 90%的非结构化数据，与人类信息密切相关。 3、Velocity，处理速度快 4、Value，价值密度低   大数据的关键技术： 1、分布式存储 分布式数据库 分布式文件系统 2、分布式处理 分布...
《大数据技术原理与应用》 期末复习
高万禄的博客
11-08 9299
桂林电子科技大学 三院 大数据课程 复习笔记 考试范围： 教材:《大数据技术原理与应用》第三版 林子雨 第1章：大数据概述 ???? 第2章：大数据处理架构Hadoop ???? 第3章：分布式文件系统HDFS ???? 第4章：分布式数据库HBase 第5章：NoSQL数据库 第6章：云数据库 第7章：MapReduce 第9章：数据仓库Hive 第10章：Spark 第11章：流计算 第1章 大数据概述 重要知识点： 1、大数据的4V 数据量大：在Web2.0时代、网络用户数目极大，在视频、照片社交软件
大数据技术原理与应用学习笔记（十一）
风虽大，都绕过我灵魂的博客
06-07 673
大数据技术原理与应用学习笔记（十一）本系列历史文章流计算流计算简介数据的处理模型流计算概念的概念与典型框架流计算处理流程传统数据处理流程流数据处理流程数据实时计算实时查询服务流计算的应用Storm——开源流计算框架Storm简介Storm主要术语Storm框架设计Storm工作流程Spark StreamingSpark Streaming与Storm的对比Storm的安装 本系列历史文章 大数据技术原理与应用学习笔记（一） 大数据技术原理与应用学习笔记（二） 大数据技术原理与应用学习笔记（三） 大数据技术
大数据技术原理与应用学习笔记（一）
风虽大，都绕过我灵魂的博客
06-04 1806
大数据技术原理与应用学习笔记（一）写在前面大数据概述第三次信息化浪潮信息科技为大数据时代提供技术支撑数据产生方式的变革促成大数据时代的来临大数据的发展历程合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 写在前面 临近期末考试，决定系统的复习
大数据技术原理与应用 【笔记】
山鬼谣的专栏
06-27 1078
环境 看视频： http://study.163.com/course/courseMain.htm?courseId=1002887002 前言 个人笔记 视频笔记 正文 大数据 思路的转变： 全样而非抽样 效率而非精确 相关而非因果 核心技术 分布式存储 和 分布式处理 云计算 解决了：分布式存储 、 分布式处理、虚拟化和多租户； Hadoop YARN 简称“样...
大数据技术原理与应用学习笔记（七）
风虽大，都绕过我灵魂的博客
06-05 807
大数据技术原理与应用学习笔记（七）本系列历史文章MapReduceMapReduce概述 本系列历史文章 大数据技术原理与应用学习笔记（一） //## 大数据技术原理与应用学习笔记（二） //## 大数据技术原理与应用学习笔记（三） //## 大数据技术原理与应用学习笔记（四） //## 大数据技术原理与应用学习笔记（五） //## 大数据技术原理与应用学习笔记（六） MapReduce MapReduce概述 数据处理能力 ...
大数据技术原理与应用笔记（3）——分布式文件系统HDFS
L_zzwwen的博客
05-11 1887
分布式文件系统HDFS 大数据技术以及具有代表性的Hadoop平台，所要解决的最核心的两大问题是： 大数据的分布式存储 大数据的分布式处理 而HDFS(Hadoop Distributed File System)就是为了解决海量数据的分布式存储问题。 3.1 分布式文件系统 （1）计算机集群结构 分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群。 与之前使...
【学习笔记】大数据技术原理与应用（MOOC视频、厦门大学林子雨）
weixin_30437847的博客
08-13 3972
1 大数据概述大数据特性：4v volume velocity variety value 即大量化、快速化、多样化、价值密度低 数据量大：大数据摩尔定律 快速化：从数据的生成到消耗，时间窗口小，可用于生成决策的时间非常少；1秒定律，这和传统的数据挖掘技术有着本质区别（谷歌的dremel可以在1秒内调动上千台服务器处理PB级数据） 价值密度低，商业价值高大数据影响： 对科学研究影响：出现科...
大数据学习笔记（一）——大数据概述
stepondust 的课堂
01-21 4787
第一章 大数据概述 1.1 大数据时代 1.1.1 信息科技为大数据时代提供技术支持 ①存储设备容量不断増加——解决了信息存储的问题 ②CPU处理能力大幅提升——解决了信息处理的问题 ③网络带宽不断増加——解决了信息传输的问题 1.1.2 数据产生方式的变革促成大数据时代的来临 数据是我们通过观察、实验或计算得出的结果。数据和信息是两个不同的概念。信息是较为 宏观的概念，它由数据的有序排列组合而成...
大数据技术原理与应用
04-17
大数据技术 大数据技术
大数据技术原理与应用笔记
weixin_30335353的博客
05-05 359
1.支持大数据的技术： 存储设备容量不断增加（1PB=1024TB） 计算,CPU处理能力不断提升 网络带宽不断增加 2.大数据特性：4V （1）大量化（volume） 大数据摩尔定律：数据一直一每年50%的速度增长 1ZB=1024EB，1EB=1024PB，1PB=1024TB 结构化数据/非结构化数据 （2）快速化（velocity） （3）多样化（variety） （...
大数据原理与应用笔记
沙儿的博客
08-23 499
大数据、物联网，云计算共同构建了数据信息时代。 大数据的4个特性：大量化，多样化，快速化，价值密度低。 大数据技术的4个层次：数据采集，数据存储与管理，数据处理与分析，数据隐私与安全。 大数据的两大核心技术：分布式存储，分布式处理。 大数据典型的4个计算模式：批处理计算，流计算，图计算，查询分析计算。 批处理计算主要是针对大规模数据做批量处理，代表的技术产品有mapreduce、spark； 流计算是针对流数据的实时计算，代表的技术产品有storm、s4、flume等； 图计算是针对大规模图结构数据的处理，
大数据技术原理与应用学习笔记（九）
风虽大，都绕过我灵魂的博客
06-07 708
大数据技术原理与应用学习笔记（九）本系列历史文章数据仓库Hive数据仓库概念Hive简介Hive系统架构用户接口模块Hive HA基本原理——（高可用性）Hive的工作原理由SQL转换为MapReduce的工作原理Impala——开源大数据分析引擎Impala简介Impala架构ImpaladState StoreCLI——执行查询的命令行工具Impala执行过程Hive与Impala的比较Hive编程实践 本系列历史文章 大数据技术原理与应用学习笔记（一） 大数据技术原理与应用学习笔记（二） 大数据技术原
Hadoop大数据技术原理与运用学习笔记
Jones_aj的博客
05-22 3003
Hadoop学习过程中的一些笔记 参考书籍《Hadoop大数据技术原理与应用》清华大学出版社 黑马程序员/编著 什么是大数据？大数据的四个特征是什么？ 另外，在Hadoop架构里面，元数据的含义是什么？ Hadoop有哪些发行版本？
大数据技术原理与应用 笔记 第1章 大数据概述
xxx_gt的博客
10-13 638
文章目录大数据时代带来的影响大数据关键技术分布式存储 分布式处理不同的计算模式需要使用不同的产品典型的计算模式批处理计算（不适合实时计算）流计算图计算查询分析计算总结大数据与云计算云计算云计算关键技术云计算数据中心应用物联网物联网关键技术 大数据时代带来的影响 现在我们有足够的空间，可以对全局数据进行存储，处理，分析。 因为之前是进行抽样统计分析，所以我们对算法的要求是尽量准确，而非追求效率。 而现在我们可以存储全部的数据之后，我们就应该追求效率而不是刻意追求精确了。 在大数据时代，要追求时效性，很多
大数据技术原理与应用学习笔记（四）
风虽大，都绕过我灵魂的博客
06-05 870
大数据技术原理与应用学习笔记（四）本系列历史文章分布式数据库HBase——BigTable的开源实现HBase简介HDFS实现目标HDFS相关概念HDFS的核心概念——块块设计的好处名称节点和数据节点第二名称节点HDFS的体系结构HDFS的局限性HDFS的存储原理冗余存储（多副本存储）好处存储策略错误&恢复读写过程读过程写过程编程实践 本系列历史文章 //## 大数据技术原理与应用学习笔记（一） //## 大数据技术原理与应用学习笔记（二） //## 大数据技术原理与应用学习笔记（三） 分布式数据库
大数据技术原理与应用学习笔记（十）
风虽大，都绕过我灵魂的博客
06-07 414
大数据技术原理与应用学习笔记（十）本系列历史文章SparkSpark简介Spark与Hadoop对比Spark生态系统Spark运行架构基本概念运行架构基本流程RDDRDD特性RDD依赖关系和运行过程Spark SQLSpark部署应用方式Spark编程实践 本系列历史文章 大数据技术原理与应用学习笔记（一） 大数据技术原理与应用学习笔记（二） 大数据技术原理与应用学习笔记（三） 大数据技术原理与应用学习笔记（四） Spark Spark简介 Spark的特点： 运行速度快 容易使用 通用性 运行模式多样
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值