![](https://img-blog.csdnimg.cn/20190918140012416.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
分布式架构
文章平均质量分 60
分布式是将一个大的系统划分为多个业务模块,业务模块分别部署到不同的机器上,一个业务模块可能负责好几个功能。
抹香鲸之海
纸上得来终觉浅,绝知此事要躬行。
展开
-
Nodes required for job are DOWN, DRAINED or reserved for jobs in higher priority partitions
1.提交作业:# srun hostnamesrun: Required node not available (down, drained or reserved)srun: job 58 queued and waiting for resources2.查看作业状态:squeue58 compute hostname root PD 0:00 1 (Nodes required for job are DOWN, DRAINED or reserve原创 2021-10-13 10:26:59 · 7374 阅读 · 0 评论 -
slurm节点,分区,作业信息说明
节点状态查看命令:sinfo说明:PARRITION:节点所在分区AVAIL:分区状态,up 标识可用,down 标识不可用TIMELIMIT:程序运行最大时长,infinite 表示不限制,如果限制格式为 days-houres:minutes:secondsNODES:节点数NODELIST:节点名列表STATE:节点状态,可能的状态包括:allocated、alloc :已分配completing、comp:完成中down:宕机drained、drain:已失去活力f原创 2021-10-12 15:46:58 · 14457 阅读 · 0 评论 -
slurm作业提交系统常用命令
常用术语user:用户名node:计算节点core:cpu 核job:作业job step:作业步,单个作业可以有多个作业步partition:分区,作业需在特定分区中运行QOS:服务质量,可理解为用户可使用的 CPU、内存等资源限制tasks:任务数,默认一个任务使用一个 cpu 核,可理解为作业所需的 cpu 核数socket:cpu 插槽,可理解为物理 cpu 颗数stdout:标准输出文件,程序运行正常时输出信息的文件,一般指输出到屏幕的信息stderr:标准错误文件,程序运行原创 2021-10-12 15:30:22 · 23621 阅读 · 0 评论 -
Reason=Low socket*core*thread count, Low CPUs [slurm@2021-09-15T15:18:53]
提交作业:# srun hostnamesrun: Required node not available (down, drained or reserved)srun: job 58 queued and waiting for resources查看作业状态:squeue58 compute hostname root PD 0:00 1 (Nodes required for job are DOWN, DRAINED or reserved fo原创 2021-10-12 13:45:14 · 1272 阅读 · 0 评论 -
CentOS7安装部署Slurm集群详细步骤及常见的问题.
Slurm 分布式集群安装部署步骤。原创 2021-08-26 13:50:10 · 11892 阅读 · 3 评论 -
Docker部署高性能分布式存储MinIO
MinIO 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口,非常适合于存储大容量非结构化的数据,如照片,视频,日志文件,备份和容器/ VM映像。对象的大小可以从几KB到最大5TB。......原创 2022-06-27 18:38:50 · 3493 阅读 · 0 评论 -
SpringBoot+RestHighLevelClient调用ElasticSearch。
springboot 整合 Elasticsearch原创 2022-06-14 18:26:40 · 885 阅读 · 1 评论 -
docker安装ElasticSearch。
安装ElasticSearch原创 2022-06-14 17:12:51 · 2128 阅读 · 0 评论 -
Twitter的分布式自增ID雪花算法snowflake (Java版)
分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移到Cassandra,因为Cassandra没有顺序ID生成机制,所以开发了这样一套全局唯一ID生成服务。SnowFlake算法生成id的结果是一个64bit大小的整数原创 2022-03-30 10:22:38 · 639 阅读 · 0 评论 -
Docker部署Dubbo Admin
查看dubbo-admin镜像执行拉取指令,默认选择latest版本 docker pull chenchuxin/dubbo-admin查看下载的镜像docker images启动容器docker run -d \ --name dubbo-admin \ -v /home/keyan/dubbo/dubbo-admin:/data \ -p 8180:8080 \ -e DUBBO_REGISTRY="zookeeper:\/\/192.168.8.1原创 2022-03-18 10:47:13 · 3180 阅读 · 2 评论 -
安装zookeeper客户端可视化工具ZooInspector。
下载:下载地址:https://issues.apache.org/jira/secure/attachment/12436620/ZooInspector.zip;解压:下载完后解压压缩包,打开地址为ZooInspector\build\zookeeper-dev-ZooInspector.jar的jar包;运行:首先你的电脑要配好了java环境,然后cmd cd到你的\build目录里面:执行命令: java -jar zookeeper-dev-ZooInspector.jar原创 2022-03-03 10:46:21 · 1696 阅读 · 0 评论 -
Docker安装Zookeeper,zookeeper集群
下载zookeeper:前置工作:centos7下Docker的安装部署1.从Docker Hub中获取zookeeper镜像:先查询:docker search zookeeper拉取对应的版本:docker pull zookeeper启动zookeeper:docker run --name myzookeeper -p 2181:2181 --restart always -d zookeeper 说明:-p指定端口启动 :前的端口是linux虚拟机的端口 :后的端口是指d原创 2022-03-03 10:28:15 · 2618 阅读 · 0 评论 -
SpringcloudAlibaba2.2.5 +seata1.4+naco2.0.3环境搭建
前置工作:Centos7下Seata的安装和配置Centos7下Nacos安装和部署Spring Cloud Alibaba、Seata、Nacos之间对应的版本注意SpringcloudAlibaba2.2.5之前的版本需要在resource目录下创建 “file.conf” 和 “registry.conf” 文件。高于这个版本的 则不需要这样创建了。常见报错:1.nacos配置读取不到[imeoutChecker_1] i.s.c.r.netty.NettyClientChannel原创 2022-01-11 14:48:27 · 873 阅读 · 1 评论 -
Seata分布式事务方案--AT(Auto Transaction)模式
在业务发展初期,“一块大饼”的单业务系统架构,能满足基本的业务需求。但是随着业务的快速发展,系统的访问量和业务复杂程度都在快速增长,单系统架构逐渐成为业务发展瓶颈,解决业务系统的高耦合、可伸缩问题的需求越来越强烈。业务系统按照服务拆分之后,一个完整的业务往往需要调用多个服务,如何保证多个服务间的数据一致性成为一个难题。AT(Auto Transaction)模式这个模式需要模块为Java语言,并且数据库支持本地事务。一个典型的分布式事务过程:AT 模式是一种无侵入的分布式事务解决方案。在 AT 模式原创 2022-01-10 17:05:32 · 716 阅读 · 0 评论 -
SEATA整合sharding-jdbc思路
这里主要是参考了ShardingSphere官网的整合思路参考连接:https://shardingsphere.apache.org/document/legacy/4.x/document/cn/features/transaction/principle/base-transaction-seata/ 具体内容如下: 整合Seata AT事务时,需要把TM,RM,TC的模型融入到ShardingSphere 分布式事务的SPI的生态中。在数据库资源上,Seata通过对接DataSour转载 2022-01-05 14:02:44 · 3478 阅读 · 12 评论