鲨鱼辣椒Poodah-CSDN博客

原创 K8S基础

Service是一组运行相同应用程序的pod的逻辑集和，提供一个固定的IP地址和DNS名称，及时pod变化，Service地址不变。K8S的网络设计基本目标：容器间互信通信，Pod间互信通信，与外部通信。

2023-10-31 17:29:14 56 1

原创 docker基础

用于指定镜像的名称（my-custom-image），使用 Dockerfile 构建自己的镜像，可以使用。表示 Dockerfile 位于当前目录。命令查看构建的镜像列表，然后使用。使用dockerfile构建镜像。一旦构建完成，你可以使用。

2023-10-31 17:27:56 46 1

Redis基础一、NoSQL数据库1.NoSQL数据库概述NoSQL = Not Only SQL指非关系型数据库。非关系型数据库不依赖业务逻辑存储数据，以简单的Key-Value模式存储。大大提高了数据库的扩展能力。2.NoSql优点和缺点优点：适合数据高并发的读写适合海量数据的读写对数据有高可扩展性缺点事务支持不好无法基于SQL的结构化查询存储，处理复杂关系，及即席查询3.常见NoSQL数据库Memcache早期出现的NoSQL数据库数据均存

2021-08-26 16:34:09 142

原创史上最详细Spark-RDD算子介绍

Spark-Core一、RDD概述1.RDD（Resilient Distributed Dataset）弹性分布式数据集，是Spark中的最基本数据抽象在源码中是一个抽象类，代表一个弹性的，不可变、可分区、里面元素可以并行计算的集合。弹性存储的弹性：内存与磁盘的自动切换容错的弹性：数据丢失可以自动恢复计算的弹性：计算出错重试机制分片的弹性：可根据需要重写分片分布式数据存储在大数据集群中的不同节点上数据集，不存储数据RDD封装了计算逻辑，并不保存数据

2021-08-06 00:41:22 376

原创 Hadoop之HDFS

Hadoop之HDFS1.HDFS概述HDFS（hadoop distributed file system）一个分布式的文件系统，用于存储文件。适合一次写入，多次读出的场景。优点：高容错性：多个副本保证数据安全适合处理大数据：存储规模大，PB级别。文件规模大，百万级。部署要求低：可以运行在廉价服务器上缺点：不适合低延时数据访问。访问速度相对较慢无法高效存储小文件。原因是小文件过多会使得NameNode存储过多元数据信息。NameNode运行在内存中，资源有

2021-07-18 18:26:00 144

原创 Hadoop基础架构（3.1.3）

Hadoop1.Hadoop的组成Hadoop 1.x组成MapReduce（计算+资源调度）HDFS（数据存储）Common（辅助工具）Hadoop 2.xMapReduce（计算）Yarn（资源调度）HDFS（数据存储）Common（辅助工具）1.HDFS架构NameNode存储元数据。如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限）以及每个文件的块列表和所在DataNode地址等。DataNode每台集群中物理服务器（即单个节点）本地存储

2021-07-18 18:18:41 274 1

原创 Kafka原理

Kafka一.概述1.定义Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue）Kafka是一个开源的分布式事件流平台2.消息队列应用：同步处理异步处理优点：解耦可恢复性缓冲峰值处理异步通信消息队列两种模式：点对点模式消费者主动拉取数据，并在收到后清除。故一个消息仅能被消费一次[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GCBcKJsf-1625981231681)(C:\Users\Jz

2021-07-11 13:29:31 223

qq_35628964的博客