大数据
文章平均质量分 81
大数据技术实践
云上笛暮
关注笛暮团队,学到更多精华知识 。公众号:imiraclecloud
展开
-
正确甄别API、REST API、RESTful API和Web Service之间的异同
看到API你会想起什么?是接口、第三方调用、还是API文档?初看你可能会觉得这太熟悉了,这不是系统开发日常系列吗?但你仔细想一想,你会发现API的概念在你脑海里是如此的模糊。如何你通过搜索引擎检索API,你会看到类似这样的信息:API——Application Programming Interface(应用程序编程接口),这太抽象了。接下来,我将结合在开发中总结的一些经验,以通俗的方式聊聊API、REST API、RESTful API以及Web Service这四者之间的联系与区别。1、API 与 RE转载 2022-06-29 23:27:52 · 397 阅读 · 0 评论 -
什么是 Apache Kafka?
Apache Kafka 背景简介Apache Kafka 是用 Scala 和 Java 编写的,是前 LinkedIn 数据工程师的创造。早在 2011 年,该技术就作为高度可扩展的消息传递系统移交给了开源社区。今天,Apache Kafka 是 Confluent Stream Platform 的一部分,每天处理数万亿个事件。 Apache Kafka 已经在市场上站稳脚跟,许多值得信赖的公司都挥舞着 Kafka 的旗帜。当今复杂系统中涉及的数据和日志必须进行处理...翻译 2021-08-29 21:19:45 · 766 阅读 · 0 评论 -
大数据基础知识大点兵
前言:本文以《大数据技术入门》一书为基础,在梳理全书内容的同时,融入了来自不同方面的知识,旨在帮助初学者更全面、更快速、更有效的了解大数据相关的知识。big data以下为文章目录,具体内容见:https://mp.weixin.qq.com/s/IV1m70cU-vA5g0YtF1xhuw第一章 大数据时代... 11.1 大数据五大特征... 11.2 大数据类型... 11.3 大数据商用化... 21.4 大数据产业链分析... 2第二章 大数据软件框架... 3原创 2020-10-03 23:14:19 · 84 阅读 · 0 评论 -
大数据组件及安全架构
大数据相关组件统计大数据安全保障体系几个可以参考的文:01、Components of a big data architecturehttps://docs.microsoft.com/en-us/azure/architecture/data-guide/big-data/02:Components of the Big Data ecosystemhttps://subscription.packtpub.com/book/big_data_and_bus...原创 2020-08-31 19:38:57 · 1191 阅读 · 0 评论 -
大数据的两个主要框架 Hadoop 和 Spark
Hadoop (MapReduce) :分布式计算框架(批量处理计算框架)Spark :内存计算框架(实时计算框架,内存计算框架,流式计算框架) Spark是通用分布式数据处理引擎,适用于多种情况。在Spark核心数据处理引擎之上,还有用于SQL,机器学习,图形计算和流处理的库,它们可以在应用程序中一起使用。 Spark支持的编程语言包括:Java,Python,Sca...原创 2020-03-01 18:14:36 · 736 阅读 · 0 评论