第一章引论

程序小猴_

已于 2023-11-12 11:30:54 修改

阅读量68

点赞数 1

分类专栏：大数据技术导论学习笔记文章标签：大数据

于 2023-11-03 16:53:36 首次发布

本文链接：https://blog.csdn.net/2201_75466929/article/details/134205161

版权

大数据技术导论学习笔记专栏收录该内容

6 篇文章 1 订阅

订阅专栏

1 大数据带来的思维变化

不是样本，是整体：雾霾
不是原因，是关联：手电和蛋挞
不是精确，是混杂：谷歌翻译

2 大数据特征

大量
多样
速度快：推荐

真实性
价值密度低

3 科学研究第四范式

4 大数据生命周期

收集→储存→分析→管理

分析视角

数据源→收集→存储→处理→可视化→报告监控

技术视角
大数据的应用

上图来源【OLTP、OLAP、HTAP之间的区别 - CSDN App】

5 大数据体系结构

5.1 集中vs分布

集中：

高性能
高可靠性
高价

分布：

分布式存储
分布式处理
高冗余性
低价

5.2 大数据系统的三个基本层次

数据存储系统
数据处理系统
数据应用系统

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

程序小猴_

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
2
评论
第一章引论

数据源→收集→存储→处理→可视化→报告监控。
复制链接

扫一扫

专栏目录

PMP第一章引论

zm的博客

01-05

532

第一章 引论 1.1 指南概述和目的 PMBOk指南收录项目管理知识体系中被普遍认可为“良好实践”的那一部分： “**普遍认可**”：**大多数时候适用于大多数项目**，获得一致认可。 “良好实践”：能提高很多项目成功的可能性。全球项目管理业界定义的最重要的价值观是责任、尊重、公正和诚实。应以恰当组合管理项目的过程，即“裁剪”应用 ...

第一章引论

aaa韩子冉

08-20

291

1.编译器概述 1.1词法分析词法分析也称线性分析或扫描 1.2语法分析语法分析简称分析，检查词法分析输出的记号流是否符合编程语言的语法规则。 1.3语义分析语义分析阶段使用语法和符号表的定义来检查源程序各部分之间的语义一致性，以保证程序各部分能有意义的结合在一起。语义分析的一个重要部分就是类型检查。 1.4中间代码生成 1.5代码优化改进中间代码，以便产生较好的目标代码。较好是指执行较快...

2 条评论您还未登录，请先登录后发表或查看评论

PMP之第一章 引论

周大福的博客

07-03

129

1、“项目管理知识体系”：应该包含所有行业、应用领域项目管理的具体知识、技能、方法和实践。2 、PMBOK指南的目的： 1）收录项目管理知识体系中被“普遍公认”的“良好做法”的那一部分。 2）形成的一个项目管理标准和框架，提供一套项目管理专业的通用词汇；适用于所有领域、行业的项目管理。 3）标准实践中可以加以选择和裁剪； 4）PMBOK指南只讨论单个项目的管理 5）PMBOK指南只讨论项目管理的共性 6）它是一套项目管理的指南，并不是具体的方法论。项目定义：为创造独特的产品、服务或成果而进行的临时性工作。

PMP项目管理知识学习经验总结——第一章 引论

Just do it

06-15

611

在介绍第一章之前，先介绍一下PMP（Project Management Professional 项目管理专业人士）考试相关的情况。 PMP每年都会举行4次考试，即每三个月会有一次考试，分别是3,6,9,12月的月末倒数第二周的周末。一般报名要比正式考试要提前两个月左右。初次考试报名费用是RMB3900元，在国内笔试考试。如果一次没过，需要再缴RMB2500元的补考费用。国内的PMP考试形式为笔试选择题，采用答题卡填涂方式，考试时间是4个小时，从上午9点开始到下午13点结束，共有200道题目。整张卷子只有

PMP思维导图第一章引论

05-05

《PMP思维导图第一章引论》在项目管理领域，PMP（Project Management Professional）认证是全球公认的项目管理专业人士资格证书，由美国项目管理协会（PMI）颁发。PMP认证不仅验证个人的项目管理知识，也展示了...

第一章 引论1

08-03

编译原理是计算机科学领域中的一个重要分支，它涉及将高级程序设计语言转化为计算机能够理解的机器语言的过程。这一过程使得程序员可以使用更加抽象和易于理解的语言编写程序，而无需直接处理复杂的硬件细节。高级...

02-23

06-15

weixin_51591328的博客

08-28

113

知识点其他

窥一斑而知全豹

xuexiaogang的专栏

08-29

239

由于经济形势的不好，我看参展商少了一点。可能不少都是为了生计而挣扎。2023年1月明叔主持的栏目有一期特别节目《数据库诸神之战》，请来了OB、TiDB、TDSQL和TDEngine的掌门人来讨论数据库的未来，那时候结论是3年后国内健康运营的数据库公司不超过30家。目前已经快过去2年了。现在日子的确越来越难过了。现实可能和预测差不多。

clickhouse 原理详解

chuige2013的博客

08-25

611

中国已有：中信实业银行，东方航空公司，阿里巴巴，华泰保险，中国远洋，李宁公司等大型企业用户选择Greenplum的产品。Doris由百度大数据部研发，之前叫百度 Palo，2018年贡献到 Apache 社区后，更名为 doris，Doris是一个MPP的OLAP系统，以较低的成本提供在大数据集上的高性能分析和报表查询功能。擅长事务处理，在数据操作中保持着很强的一致性和原子性，能够很好的支持频繁的数据插入和修改，但是，一旦数据量过大，OLTP便力不从心了。1、MPP数据库简介。1、MPP数据库简介。

flink 核心概念（个人总结）

weixin_44702289的博客

08-26

265

状态：在处理数据时，flink可以维护状态，这对于实现复杂逻辑如窗口操作和聚合是有必要的。flink支持有状态的流处理，它可以存储和访问数据流处理过程中的状态信息。窗口是处理无界数据流的一种方法，它将数据流切分成有限大小的块进行处理。b.有界数据流：有明确开始和结束点的数据流，例如批量处理的历史数据。flink将数据视为流，无论是实时的无界数据流还是有界的数据流。1.滚动窗口：固定大小的窗口，当新的事件到达时，窗口会向前滚动。a.无界数据流：实时生成的数据流，没有结束点，例如实时交易数据。

SparkSQL DML语句详解

SunnyRivers

08-27

428

数据操作语句用于添加、更改或删除数据。LOAD。

Kafka 到数据仓库：使用 bend-ingest-kafka 将消息加载到 Databend

最新发布

Databend的博客

08-29

584

JSON模式：此模式解析 JSON 消息并将每个字段加载到目标表的相应列中。它将 Kafka 消息转换为与表模式直接映射的结构化格式。RAW模式：在此模式下，该工具会创建一个包含uuidkoffsetkpartitionraw_data和add_time等列的表。Kafka 消息存储在raw_data列中，并将其他元数据注入到其他列中，从而保留原始消息格式并提供有用的上下文。有关 bend-ingest-kafka 的更多详细信息，请查看README。

（十七）Flink 容错机制

springk的专栏

08-25

292

对于不间断 24 小时运行的程序来说，容错至关重要。Flink 定期对每个算子的所有状态进行持久化快照，并将这些快照复制到更持久的地方，例如分布式文件系统。如果发生故障，Flink 可以恢复应用程序的完整状态并恢复处理，就好像没有出现任何问题一样。本章我们针对 Checkpoint、Savepoint、作业重启调度策略做详细介绍

基于Spark的云南旅游大数据分析平台

qq_40309403的博客

08-28

375

Hi，大家好，今天分享的项目是《基于Spark的云南旅游大数据分析平台》

Kafka线上问题优化

weixin_43451620的博客

08-24

437

如果为了消息的不重复消费，而把生产端的重试机制关闭，消费端的手动提交改为自动提交，这样反而会出现消息丢失。那么可以直接在防止消息丢失的手段上加上消费消息时的幂等性特保证，便能解决重复消费的问题。消息积压会导致很多问题，比如：磁盘被打满、生产端发消息导致kafka性能过慢，就容易出现服务雪崩，就需要相应的处理手段。消费者订阅相应的topic，消费时轮询消费整个topic中的消息。消息发送者发送消息到相应的topic，并带上消息的发送时间。创建多个topic，每个topic表示延时的间隔。

zookeeper分布式锁案例

shuai的博客

08-29

358

手写分布式锁案例 Curator框架实现分布式锁案例

pmp第一章:引论介绍

04-30

PMP（Project Management Professional）也不例外，在第一章中，作者为读者介绍了PMP认证的重要性、目的、内容和历程，是PMP认证过程中的第一步。 PMP是全球公认的项目管理领域最高级别的认证，它不仅是一种资格...

第一章 引论

1 大数据带来的思维变化

2 大数据特征

3 科学研究第四范式

4 大数据生命周期

5 大数据体系结构

5.1 集中vs分布

5.2 大数据系统的三个基本层次

第一章引论