微服务
文章平均质量分 51
Ever_glow
当命运需要你逆风飞翔的时候,就不能随风而去。
展开
-
解决Swarm部署应用时CURRENT STATE为New *** ago
原因是此容器并未创建成功,正在等待创建。1.stackoverflow上最多的解释是IP数量达到了限制,在创建容器过程中,会有部分容器因为依赖关系而创建失败,创建失败的容器也占用了IP地址,解决方案是扩充IP或限制down掉容器的数量。2.在尝试上述方案后并没有解决我的问题,我部署的应用中只有需要开放端口的服务无法部署,于是我尝试将swarm集群解散,使节点重新加入集群。主节点初始化swarm。工作节点加入swarm。...原创 2022-08-27 17:38:30 · 496 阅读 · 2 评论 -
利用Jaeger+Cassandra生成微服务历史执行图并求关键路径
Benchmark:SocialNetwork一.分析Cassandra存储数据Jaeger将请求的Span存储到Cassandra数据库中,如果知道数据库中同一Trace各Span之间的父子关系,就可以对微服务应用生成历史执行图。那么只需要在Jaeger采集数据的时候,记录微服务间的父子关系就ok。查找数据库中的信息,发现有如下信息:在operation_name一列中,由对应client与server的记录,说明两者是父子关系,则可以通过operation_name对应用生成历史执行图。原创 2022-04-19 21:27:16 · 979 阅读 · 2 评论 -
执行docker命令,报错Segmentation fault
执行任何docker命令,都会报错Segmentation fault。之前使用docker的时候并没有出现过类似的错误。在经过排查后,发现可用内存仅为110M,猜测是内存不够用了,所以执行了清理内存的命令,但参数改为1,2,3都没法清理内存。syncecho 1 > /proc/sys/vm/drop_caches在GitHub上找到了解决办法,首先输入sysctl vm.overcommit_memory输出结果为0,然后更改参数sysctl vm.overcommit原创 2022-01-23 11:56:26 · 5773 阅读 · 0 评论 -
清理节点因容器运行导致的内存占用过多,释放节点缓存
容器往往会因为内存溢出而down掉,但是检查内存使用情况却显示占用内存很少,这种情况大多数由于容器的cache太多,占用了内存,导致内存的剩余不足,从而容器down掉。 可以使用命令 free -h 查看节点与容器内部的cache使用情况,如果剩余很少,需要手动清除一下。 常用的释放缓存的命令有syncecho 1 > /proc/sys/vm/drop_caches一般容器在执行完上述代码后就会将缓存释放,部分特殊设定的容器,如某些redis在执行此语...原创 2022-01-11 14:15:32 · 1421 阅读 · 0 评论 -
MADDPG资源分配学习记录
2021.11.23完成了MADDPG的理论模型创建,针对actor-critic的创建有了清晰的了解。否定了之前的设计问题,之间设计的reward并不能让agent往整体更好的方向靠拢,忽略了整体的奖励。确定了critic与actor的输入与输出,感觉critic的输入过于复杂,可能会出现不收敛的情况。想在考虑到整体的情况下减少critic的输入。......原创 2021-11-23 20:11:17 · 1571 阅读 · 7 评论 -
Python连接Cassandra容器进行查询
首先Cassandra是使用docker-swarm同微服务一同部署的。问题的关键在于寻找到Cassandra的9042端口,从而获取数据。问题一:在主节点Ping Cassandra容器的IP,由于利用docker-swarm网桥连接的容器,两者的IP不在同一网段,所以ping失败,无法获取9042端口。问题二:在Cassandra容器内输入ip addr,得到结果如下:得到两个IP字段,其中下面的IP字段对应的是docker-swarm创建的网桥,在主节点尝试ping一下,竟..原创 2021-11-09 21:16:37 · 1714 阅读 · 0 评论 -
监控Docker Swarm集群的资源使用情况
1.在主节点得到各个节点的ip,并得到每个ip对应的容器ID2.通过ssh访问每个ip3.访问/sys/fs/cgroup/**/docker文件,利用容器ID进行对应修改#!/bin/bashnode=`docker node ls -q`for str in $nodedo echo $str com=`docker node inspect $str|grep Addr` com=${com#*:} com=${com#*\"} com=${com%%\"*} ech原创 2021-10-31 18:43:09 · 580 阅读 · 0 评论 -
Docker通过Cgroup文件修改容器配置
搜索到的都是在创建容器时,初始一个数据创建容器。几乎全部都是,可能是因为我的搜索方法不对吧,可能是我不会用百度。 根据FIRM的想法,是通过cpu.cfs_quota_us与cpu.cfs_period_us修改CPU,通过Intel MBA啥的修改Mem。所以就看了一下这两个文件,简单理解可以是period中的数据算是总数,quota中的数据可以作为相对数量,这样就可以限制CPU的使用百分比了。 理论成立,开始操作。然后找了几篇文章,进入容器中进行更改。...原创 2021-10-22 17:36:53 · 962 阅读 · 0 评论 -
Docker Swarm配置DeathStarBench之SocialNetwork
首先在Github下载文件。传送门下载完毕后需要更新相应软件。DockerDocker-composePython 3.5+ (with asyncio and aiohttp)libssl-dev (apt-get install libssl-dev)libz-dev (apt-get install libz-dev)luarocks (apt-get install luarocks)luasocket (luarocks install luasocket)注意更新顺序,原创 2021-10-20 21:29:36 · 1118 阅读 · 16 评论 -
解决Docker Swarm重装.yml文件后无法创建新Service
当使用命令docker stack rm *** 后,整个docker上***Stack中的所有Service被删除,或者是执行docker service rm ***后。如果使用docker stack deploy --compose-file=***.yml <service-name>命令继续部署刚才删除的任务,会出现Service一直是running状态,但是找不到具体节点的问题。docker service lsdocker service ps ID.原创 2021-10-20 19:57:54 · 310 阅读 · 0 评论 -
多微服务的多资源分配问题为NP-hard的证明
前言对多个微服务的多种资源进行分配,假设有m个微服务,x种资源,每种资源都是连续的,这里为了方便分配,我们将连续的资源做细粒度的离散化。很容易得到时间复杂度为,由于指数为n,看上去显然是个NP-hard问题。下面是对此的一个简单的证明,如有问题,还请指教。数学建模 1. 问题描述首先是要对正在运行的微服务应用进行合理的资源分配,保证在不违反SLO的前提下,尽可能少的使用资源。然后要及时发现即将造成SLO违反的异常所在,对其进行敏感资源探索,最后...原创 2021-09-26 20:08:15 · 1252 阅读 · 1 评论 -
云计算中微服务相关论文泛读
以下是最近对于云计算中微服务系统调度论文的泛读,欢迎一起探讨问题,如需要论文请私聊。Amoeba: QoS-Awareness and Reduced Resource Usage of Microservices with Serverless Computing问题:微服务在IaaS模式部署与无服务器模式部署的切换问题目标:最大限度的减少资源使用,同时保持微服务的服务质量构成:混合执行引擎+多资源竞争监视器+竞争感知部署器原理:争用监视器定期检查共享资源的状态,部署控制器通过性能原创 2021-07-22 09:28:02 · 971 阅读 · 2 评论