基础知识
各类基础
九月木樨
00后程序猿,写博客只是为了记录自己的所学,以及工作或学习中遇到的问题。
展开
-
Spark基础
Spark基础 什么是Spark 基于内存的,用于大规模数据处理(离线计算、实时计算、快速查询(交互式查询))的统一分析引擎。 Spark特点 快: Spark计算速度是MapReduce计算速度的10-100倍 易用:(算法多)MR支持1种计算模型,Spsark支持更多的计算模型。 通用: Spark 能够进行离线计算、交互式查询(快速查询)、实时计算、机器学习、图计算等 兼容性: Spark支...原创 2020-04-20 17:19:48 · 880 阅读 · 5 评论 -
Yarn基础知识
1、什么是Yarn 通用资源管理系统和调度平台 2、Yarn特点: 1、支持多计算框架 2、资源利用率高,运行成本低,数据共享。 3、Yarn的意义: 降低了企业硬件的成本(多个集群变成一个集群),减少了资源的了浪费,运营成本低。 4、Yarn基本组成 ResourceManager :一个集群资源调度的管理者 NodeManager :一个节点资源调度的管理者(集群各个节点资源的工作者) A...原创 2020-03-24 16:38:55 · 298 阅读 · 0 评论 -
redis基础知识
1、什么是redis Redis是一个基于内存的使用C语言编写的key-value开源的NOSQL存储系统。不支持SQL语句。 2、Redis持久化数据的方式有哪些 1、RDB 触发式的序列化 Save 5 2 (5秒钟 有两个动作便会触发序列化) 2、AOF 日志形式的序列化 默认:一秒钟存储一次 3、解决IT行业数据读取瓶颈的终极方案 读写分离 4、Redis如何实现读写分离? R...原创 2020-03-24 16:23:51 · 99 阅读 · 0 评论 -
kafka基础知识
1、什么是kafka Kafka是一个高吞吐量,分布式,分区的,多副本的,多订阅者的的发布订阅消息系统。 2、kafka的使用场景 应用耦合、异步处理、限流削峰、消息驱动的系统 3、kafka优缺点 优点:可靠性强(分布式-分区-副本)、扩展性强(可伸缩)、性能高(数据读写)、耐用性强(数据持久化)、时效性强。 缺点:由于是批量发送,数据并非真正的实时。 仅支持统一分区内消息有序,无法实现全局消息...原创 2020-03-24 15:27:18 · 252 阅读 · 0 评论