一只CV程序猿-CSDN博客

原创 Hadoop之HDFS——【模块二】数据管理

类似于大集群与小集群之间的关系，彼此之间独立又相互依存。每个namespace彼此独立，Namespace工作时只负责维护本区域的数据，同时所有的namespace维护的文件都可以共用DataNode节点，为了区分数据属于哪些Namespace，DataNode会通过BlockPool的形式进行管理。

2024-03-01 18:33:53 416

在Hadoop生态系统中，"元数据"（Metadata）指的是描述数据集特征的数据，它提供了关于文件系统中文件和目录的信息。在Hadoop分布式文件系统（HDFS）中，元数据主要由NameNode来管理。INodeMap是Hadoop中用于存储inode信息的数据结构。它是一个内存中的映射表，用于将文件的inode ID映射到inode对象。这样做的目的是为了快速查找文件的元数据信息。当客户端请求访问文件或目录时，NameNode会使用这个映射表来快速定位inode信息。

2024-03-01 16:06:44 1344

原创 LangChain学习

帮助根据用户输入，其他非静态信息和固定模版字符串的组合创建提示的对象。2.3.简单定义函数使用openai接口。三、langchain框架的使用。2.2.导入openai。

2024-01-22 12:56:25 209

原创【云原生kubernets】存储管理与应用

容器中的文件在磁盘上是临时存放的，这给容器中运行的特殊应用程序带来一些问题。首先，当容器崩溃时，kubelet 将重新启动容器，容器中的文件将会丢失,因为容器会以干净的状态重建。其次，当在一个 Pod 中同时运行多个容器时，常常需要在这些容器之间共享文件。

2023-12-14 22:41:42 818 1

原创【云原生kubernets】Ingress 功能与应用

当我们使用Service的时候，Service对集群之外暴露服务的主要方式有两种：NotePort和LoadBalancer，但是这两种方式，都有一定的缺点：（1）NodePort方式的缺点是每创建一个服务，都需要暴露出一个供外部访问的主机端口，就导致会占用很多集群机器的端口，那么当集群服务变多的时候，这个缺点就愈发明显。（2）LB方式的缺点是每个service需要一个LB，浪费，并且需要kubernetes之外设备的支持。

2023-12-13 22:41:29 1203 1

原创【云原生kubernets】Service 的功能与应用

在kubernetes中，pod是应用程序的载体，我们可以通过pod的ip来访问应用程序，但是pod的ip地址不是固定的，这也就意味着不方便直接采用pod的ip对服务进行访问。为了解决这个问题，kubernetes提供了Service资源，Service会对提供同一个服务的多个pod进行聚合，并且提供一个统一的入口地址。通过访问Service的入口地址就能访问到后面的pod服务。

2023-12-13 21:52:50 989 1

原创【云原生kubernets】Deployment的功能与应用

Deployment 定义的 template 字段，在 Kubernetes 项目中有一个专有的名字，叫作 PodTemplate即Pod 模板。后面提到的大多数控制器，都会使用 PodTemplate 来统一定义它所要管理的 Pod。Deployment 这样的一个控制器，实际上都是由上半部分的控制器定义，包括期望状态，加上下半部分的被控制对象的模板组成的。nginx-deployment 所直接控制的，就是 Pod 对象么？不是，而是ReplicaSet。

2023-12-13 15:02:01 1326 1

原创【云原生kubernets】Pod详解

Pod是kubernetes中最小的资源管理组件，Pod也是最小化运行容器化应用的资源对象。一个Pod代表着集群中运行的一个进程。kubernetes中其他大多数组件都是围绕着Pod来进行支撑和扩展Pod功能的，例如，用于管理Pod运行的StatefulSet和Deployment等控制器对象，用于暴露Pod应用的Service和Ingress对象，为Pod提供存储的PersistentVolume存储资源对象等。

2023-12-12 22:03:29 1429

原创 K8S 常用命令

【代码】K8S 常用命令。

2023-12-12 20:08:29 549

原创【K8S 系列】k8s 核心概念

（2）副本(replicas)：一个 Pod 可以被复制成多份，每一份可被称之为一个“副本”，这些“副本”除了一些描述性的信息（Pod 的名字、uid 等）不一样以外，其它信息都是一样的，譬如 Pod 内部的容器、容器数量、容器里面运行的应用等的这些信息都是一样的，这些副本提供同样的功能。（3）downwardAPI 这个模式和其他模式不一样的地方在于它不是为了存放容器的数据也不是用来进行容器和宿主机的数据交换的，而是让 pod 里的容器能够直接获取到这个 pod 对象本身的一些信息。

2023-12-10 16:44:21 1322 1

原创【K8S 系列】认识k8s、k8s架构

Kubernetes 简称 k8s，是支持云原生部署的一个平台，k8s 本质上就是用来简化微服务的开发和部署的，用于自动化部署、扩展和管理容器化应用的开源容器编排技术。对于传统的docker其实也提供了容器编排的技术docker-compose，但是docker-compose只能管理一台主机上的容器，而对于k8s来讲可以管理多主机上的容器。

2023-12-09 23:48:37 1039

原创云网络中的虚拟网络设备Tap与Tun

Tap/Tun设备是Linux操作系统内核中的虚拟网络设备，提供与硬件网卡完全相同的功能，但一般物理网卡一端连接的是物理网络，一端连接的是网络协议栈，而Tap/Tun主要用于用户空间和内核空间传递报文，即一端连接的是应用程序（通过字符设备文件/net/dev/tun），一端连接的是网络协议栈。当发送数据包的时候，如果与应用程序连接的是TCP/IP协议栈，则使用TCP/IP协议栈来发送数据包，如果与应用程序相连接的tap设备，则使用tap设备来发送数据。那到底该怎么选择呢？

2023-12-07 15:52:20 2792 1

原创 Linux Bridge 基本原理

1.1.LinuxBridge介绍LinuxBridge是一种虚拟的数据链路层设备，具备多个接口可以进行数据的收发。在Linux系统中，LinuxBridge担当交换机的角色，通过veth-pair/tap/tun接口连接其他网络设备。虚拟局域网VLAN是将物理的局域网在逻辑上划分为多个广播域的技术，每个VLAN属于一个小的广播域，同一个VLAN内的主机可以直接二层通信，而不同VLAN内的主机二层隔离。

2023-12-07 14:01:25 1718 1

原创 OpenStack核心组件-Cinder

（1）块存储：块存储是一种基于块的存储方式，它将数据存储在一个个固定大小的块中，每个块都有唯一的地址。例如固态硬盘（SSD）。在块存储中，数据以块为单位进行读写，并且可以随机访问任何一个块。块存储通常被用于构建虚拟化存储系统或者直接连接到计算机系统的存储设备。它只负责把数据以块的形式存储在设备上，而不提供文件或目录的概念。（2）文件系统存储：数据以文件的形式进行组织和存储的方式。在文件系统中，数据被组织成层次结构的目录和文件，并通过文件路径进行访问。典型的文件系统包括NTFS、ext4等。

2023-12-05 21:34:25 1170

原创 OpenStack对象存储Swift

1.1.Swift是什么？Swift无需采用RAID（磁盘冗余阵列），也没有中心单元或主控结点。Swift通过在软件层面引入一致性哈希技术和数据冗余性技术，牺牲一定程度的数据一致性来达到高可用性 HA 和可伸缩性，支持多租户模式、容器和对象读写操作，适合解决互联网的应用场景下非结构化数据存储问题。（1）高可用，分布式对象存储服务。（2）最终一致性模型。（3）适合解决互联网应用场景下非结构化数据存储的问题（对象存储），（4）构筑在比较便宜的标准硬件存储基础设施之上（构建在X86架构的硬件之上）

2023-12-05 16:58:24 1062

原创 Nginx负载均衡在OpenStack中的应用

负载均衡是高可用网络基础架构的一个关键组成部分，在负载均衡的作用下，应用服务器可以部署多台，负载均衡会将用户的请求分发到不同的应用服务器上，从而提高服务的性能以及可靠性。Nginx是一款轻量级的Web服务器/反向代理服务器及电子邮件(IMAPPOP3)代理服务器，其特点是占有内存少，并发能力强，Nginx处理并发能力确实在同类型的网页服务器中表现较好，中国大陆使用Nginx网站用户有:百度、京东、新浪、网易、腾讯、淘宝等。

2023-12-05 12:09:33 866

原创 OpenStack核心组件-Nova

计算服务是openstack最核心的服务之一，负责维护和管理云环境的计算资源。Nova自身并没有提供任何虚拟化能力，它提供计算服务，使用不同的虚拟化驱动来与底层支持的Hypervisor (虚拟机管理器)进行交互。所有的计算实例(虚拟服务器)由Nova进行生命周期的调度管理(启动、挂起、停止、删除等)，全局来看，nova为整个架构提供虚拟化资源、技术，服务层面来看，nova本身并不具备虚拟化能力，而是通过compute组件与虚拟化管理工具交互实现虚拟资源调度。

2023-12-04 15:00:21 1243

原创 OpenStack核心组件-neutron

（8）Agent向虚拟机提供二层和三层的网络连接、完成虚拟网络和物理网络之间的转换、提供扩展服务等。3、plugin 的一个主要的职责是在数据库中维护 Neutron 网络的状态信息，这就造成一个问题：所有 network provider 的 plugin 都要编写一套非常类似的数据库访问代码。2. 不同 plugin 之间存在大量重复代码，开发新的 plugin 工作量大所有传统的 core plugin 都需要编写大量重复和类似的数据库访问的代码，大大增加了 plugin 开发和维护的工作量。

2023-12-03 23:25:40 1504 2

m0_73901077的博客