小浣熊的干脆面
码龄9年
关注
提问 私信
  • 博客:23,106
    23,106
    总访问量
  • 11
    原创
  • 514,034
    排名
  • 2
    粉丝
  • 0
    铁粉
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:上海市
  • 加入CSDN时间: 2015-06-23
博客简介:

a9757226的博客

查看详细资料
个人成就
  • 获得3次点赞
  • 内容获得2次评论
  • 获得11次收藏
创作历程
  • 7篇
    2023年
  • 1篇
    2018年
  • 4篇
    2017年
成就勋章
TA的专栏
  • 之江实验室
    7篇
  • Caffe
    1篇
创作活动更多

如何做好一份技术文档?

无论你是技术大神还是初涉此领域的新手,都欢迎分享你的宝贵经验、独到见解与创新方法,为技术传播之路点亮明灯!

345人参与 去创作
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

分布式容错机制研究

广播调用与并行调用类似,也是需要对服务集群的每个节点都发起一次调用,不过不同 的是,广播调用通常用于服务集群的每个节点都维护了本地状态,然后需要对这种本地状态 进行写操作的场景,即需要同步写操作给服务集群的每个节点,从而保证每个节点的数据一 致性和可靠性。即一个服务可能会通过 RPC 调用多个其他服务,如果其中某个服务不可用, 则需要保证另外的多个服务的处理结果,以及当前发起 RPC 服务调用的服务的处理结果都 可以正常返回给客户端,只是这个不可用服务的处理结果需要返回错误而已。
原创
发布博客 2023.10.30 ·
123 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

常见分布式调度框架

elastic-job使用了quartz的调度机制,内部原理一致,他可以看作是quartz的一个扩展实现,使用注册中心(zookeeper)替换了quartz的jdbc数据存储方式,此外,elastic-job又支持分片等特殊功能。分布式任务调度SchedulerX是阿里巴巴自研的基于Akka架构的分布式任务调度平台,兼容开源XXL-JOB、ElasticJob,支持Cron定时、一次性任务、任务编排、分布式执行批量任务等功能,具备高可用、可视化、可运维、低延时等能力。绑定某个任务以及绑定机器。
转载
发布博客 2023.10.30 ·
1744 阅读 ·
0 点赞 ·
0 评论 ·
5 收藏

其他常见热迁移工具

(1)checkpoint期间,getid()可用于检索进程的PID,但在还原期间没有相应的API来设置进程的PID(fork()系统调用不允许调用制定子进程的PID),DMTCP通过拦截getpid()的库调用并向应用程序提供假的PID值给进程。对比分析可知,在用户态完成checkpoint/restore功能的工具中,criu是功能最全的,而且支持目前云计算领域最火的docker容器checkpoint/restore,而且criu的社区也是很活跃的。(2)可能因为请求代理而产生潜在的性能问题。
原创
发布博客 2023.10.30 ·
201 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

分布式调度系统API文档

3、强制杀死某个任务。
原创
发布博客 2023.10.30 ·
103 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

分布式调度系统架构图

原创
发布博客 2023.10.30 ·
144 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

分布式调度系统设计思路

3、各个worker利用分布式锁抢占,解决并发调度相同任务的问题。3、任务执行:协程池并发执行多任务,基于etcd分布式锁抢占。1、任务同步:监听etcd中/cron/jobs/目录变化。1、利用etcd同步全量任务列表到所有worker节点。1、任务管理http接口:新建、修改、查看、删除任务。4、日志保存:捕获任务执行输出,保存到MongoDB。2、任务调度:基于cron表达式计算,触发过期任务。3、任务控制http接口:提供强制结束任务的接口。2、任务日志http接口:查看任务执行历史日志。
原创
发布博客 2023.10.30 ·
84 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

CRIU的安装与使用

CRIU(Checkpoint/Restore In Userspace)运行在linux操作系统上的一个软件工具,其功能是在用户空间实现Checkpoint/Restore功能。使用这个工具,你可以冻结一个正在运行的程序,并且checkpoint它到一系列的文件,然后你就可以使用这些文件在任何主机重新恢复这个程序到被冻结的那个点(白话就是实现对已运行程序的备份和恢复)。源码地址:https://github.com/checkpoint-restore/criu。官 网:http://criu.org。
原创
发布博客 2023.10.30 ·
408 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Caffe工具使用之convert_imageset.exe

convert_imageset.exe的绝对路径名\convert_imageset.exe -参数1 -参数2 -参数3 -参数4参数1:设置shuffle backend resize_hight resize_width参数2:图片所存放的绝对路径参数3:txt存放的绝对路径参数4:转换后要保存的绝对路径...
原创
发布博客 2018.05.27 ·
1625 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

Python3中urllib.request.retrieve的使用

retrieve这个函数通过help(urllib.request.retrieve)便可得知它的使用方法,简单的来讲它的使用方法就是传入url和filename便可以使用了,url=‘一个下载链接’,filename='存储路径'+'存储文件名'。那么这个函数最简单的使用方法就是传入一个下载链接和存储路径便可以将文件自动下载。这是爬虫中必不可少的一个函数。
原创
发布博客 2017.09.23 ·
3104 阅读 ·
2 点赞 ·
0 评论 ·
2 收藏

Python3.5 venv的使用

Python自带的venv可以创建一个独立的虚拟环境,在命令行中使用python -m venv file,这样就会在当前文件夹下创建一个名叫file的独立环境。例:F;\>python -m venv Fuck 执行后便会在F盘下创建一个名叫Fuck的文件夹,这是一个可以使用的python环境。
原创
发布博客 2017.08.13 ·
14756 阅读 ·
1 点赞 ·
2 评论 ·
4 收藏

Python函数带*的参数

带*的参数的函数可以传入很多个参数,并且这些参数是以元祖的形式储存的
原创
发布博客 2017.08.01 ·
453 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Python之urllib.request模块

在这我想写一些自己从urllib,request中学到的一些知识
原创
发布博客 2017.07.31 ·
338 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏