- 博客(7)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 K8S基础
Service是一组运行相同应用程序的pod的逻辑集和，提供一个固定的IP地址和DNS名称，及时pod变化，Service地址不变。K8S的网络设计基本目标：容器间互信通信，Pod间互信通信，与外部通信。
2023-10-31 17:29:14
37
1
原创 docker基础
用于指定镜像的名称（my-custom-image），使用 Dockerfile 构建自己的镜像，可以使用。表示 Dockerfile 位于当前目录。命令查看构建的镜像列表，然后使用。使用dockerfile构建镜像。一旦构建完成，你可以使用。
2023-10-31 17:27:56
31
1
原创 一篇文章让你搞懂Redis
Redis基础 一、NoSQL数据库 1.NoSQL数据库概述 NoSQL = Not Only SQL 指非关系型数据库。 非关系型数据库不依赖业务逻辑存储数据，以简单的Key-Value模式存储。大大提高了数据库的扩展能力。 2.NoSql优点和缺点 优点： 适合数据高并发的读写 适合海量数据的读写 对数据有高可扩展性 缺点 事务支持不好 无法基于SQL的结构化查询存储，处理复杂关系，及即席查询 3.常见NoSQL数据库 Memcache 早期出现的NoSQL数据库 数据均存
2021-08-26 16:34:09
107
原创 史上最详细Spark-RDD算子介绍
Spark-Core 一、RDD概述 1.RDD（Resilient Distributed Dataset） 弹性分布式数据集，是Spark中的最基本数据抽象 在源码中是一个抽象类，代表一个弹性的，不可变、可分区、里面元素可以并行计算的集合。 弹性 存储的弹性：内存与磁盘的自动切换 容错的弹性：数据丢失可以自动恢复 计算的弹性：计算出错重试机制 分片的弹性：可根据需要重写分片 分布式 数据存储在大数据集群中的不同节点上 数据集，不存储数据 RDD封装了计算逻辑，并不保存数据
2021-08-06 00:41:22
357
原创 Hadoop之HDFS
Hadoop之HDFS 1.HDFS概述 HDFS（hadoop distributed file system） 一个分布式的文件系统，用于存储文件。适合一次写入，多次读出的场景。 优点： 高容错性：多个副本保证数据安全 适合处理大数据：存储规模大，PB级别。文件规模大，百万级。 部署要求低：可以运行在廉价服务器上 缺点： 不适合低延时数据访问。访问速度相对较慢 无法高效存储小文件。原因是小文件过多会使得NameNode存储过多元数据信息。NameNode运行在内存中，资源有
2021-07-18 18:26:00
106
原创 Hadoop基础架构（3.1.3）
Hadoop 1.Hadoop的组成 Hadoop 1.x组成 MapReduce（计算+资源调度） HDFS（数据存储） Common（辅助工具） Hadoop 2.x MapReduce（计算） Yarn（资源调度） HDFS（数据存储） Common（辅助工具） 1.HDFS架构 NameNode 存储元数据。如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限）以及每个文件的块列表和所在DataNode地址等。 DataNode 每台集群中物理服务器（即单个节点）本地存储
2021-07-18 18:18:41
216
1
原创 Kafka原理
Kafka 一.概述 1.定义 Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue） Kafka是一个开源的分布式事件流平台 2.消息队列 应用： 同步处理 异步处理 优点： 解耦 可恢复性 缓冲 峰值处理 异步通信 消息队列两种模式： 点对点模式 消费者主动拉取数据，并在收到后清除。故一个消息仅能被消费一次 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GCBcKJsf-1625981231681)(C:\Users\Jz
2021-07-11 13:29:31
205
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人