- 博客(6)
- 收藏
- 关注
原创 【k8s系列】Kubernetes v1.20.6集群安装
iptables 模式在 v1.1 中就添加支持了,从 v1.2 版本开始 iptables 就是 kube-proxy 默认的操作模式,ipvs 和 iptables 都是基于netfilter的,但是ipvs采用的是hash表,因此当service数量达到一定规模时,hash查表的速度优势就会显现出来,从而提高service的服务性能。Swap是交换分区,如果机器内存不够,会使用swap分区,但是swap分区的性能较低,k8s设计的时候为了能提升性能,默认是不允许使用姜欢分区的。
2024-08-10 23:46:31 3061
原创 【k8s系列】k8s的pod临时存储emptyDir映射的宿主机目录查询
里面有很多容器,describe查看pod,拿到挂载emptyDir目录的容器的ID。emptyDir这种方式,pod一关闭,里面的容器也会销毁,数据不会持久化到磁盘。进入这个容器ID对应的目录下,查看hostconfig.json文件内容。该文件中记录了pod的emptyDir目录在主机上映射的真实目录。进入这台机器,查看该机器上安装的docker的工作目录。通过命令查看pod运行在哪台宿主机。进入工作目录,查看容器情况。查询调度到的主机ip。
2024-08-10 22:23:02 316
原创 【线上bug系列】容器数据同步到ceph使用Java判断软连接的方法
容器中数据文件输出到ceph对象存储中,出现如下数据同步异常,这是一个很容易被忽略的bug。
2024-01-29 15:53:33 589
原创 【镜像构建系列】Ubuntu20.04 从源代码编译安装 python3.10
prefix=/usr/local/lib/python3.10 是配置编译参数 sudo make -j8 是编译。-j8 表示用 8 个核心并行编译来提高速度(默认只用一个处理器编译,这太慢了,我们多进程并行处理:sudo make -j8,-j8 表示用 8。例如:vi、vim、git、curl、ping、telnet、zip、unzip、gzip、scp、ssh、netstat、s3cmd。个处理器,如果你的处理器只有4个就改成4)复制以下内容到pip.conf中。
2024-01-26 10:22:15 1228
原创 ceph对象存储文件多线程跨集群同步实现
例如,将文件从cephA同步到cephB,若文件大于5MB,则进行分片多线程同步处理,小于5MB则直接走上传文件接口直接上传到cephB。现有多个集群,每个分别部署了ceph存储对象存储系统,需要将文件从集群A的ceph同步到集群B的ceph。后端分片读取ceph的文件,根据文件大小来判断是否进行分片多线程同步。
2024-01-25 21:00:21 516
原创 【K8S系列】大模型训练云平台动态集成vscode组件
每个pod分别管理了两个容器,同步容器container1,训练容器container2,其中训练容器对用户可见,同步容器对用户不可见,所以可以将vscode、jupyterlab等组件包部署在同步容器中。已知同步容器和训练容器在一个pod中,可以在当前pod启动时建立一个类型为EmptyDir临时共享目录,然后在启动同步容器时将vscode包mv到临时共享目录中,训练容器即可操作vscode组件。这样处理的好处在于,如果以后需要对vscode等组件进行升级,只需要重新构建同步容器镜像即可。
2024-01-24 17:45:18 1993 2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人