分布式
文章平均质量分 88
LLLSoul
这个作者很懒,什么都没留下…
展开
-
MIT 6.824-Lab 2 学习记录
Lab 2A: Leader ElectionTips2A主要要完成的任务:实现初始化Raft实例,核心就在于完成超时选举以及心跳通知。ticker函数用于选举计时,一旦超时就会开始选举。然后关于定时发送心跳的函数都需要自己写。完成选举函数,需要发送RequestVote RPC,对这个RPC进行处理:根据自己实现的投票条件决定是否投票。若candidate竞选失败且未收到新leader的RPC,就会随机等待时间再次选举;若收到新leader的RPC则会变回follower,停止选举;选举成功则要原创 2022-03-04 18:42:28 · 2231 阅读 · 1 评论 -
MIT 6.824-Lab 1 MapReduce
1 前言实验环境配置:https://pdos.csail.mit.edu/6.824/labs/lab-mr.html。这篇笔记主要起到自我学习过程记录的作用,只写了我完成这个实验的大致步骤和遇到问题的解决思路,没有写我的实现思路(其实我的实现思路也很简单,不像很多大佬都做了优化),所以希望看到这篇文章的大佬不要太过严格,但是如果能对其他人提供帮助的话那就更好了。2 阅读代码看一下map函数:// The map function is called once for each file of原创 2022-01-29 17:17:14 · 3122 阅读 · 2 评论 -
网络编程-socket通信(二)
socket通信(二)分包、粘包TCP虽然可以保证顺序不变,但是依然可能会发生分包和粘包的问题:分包:发送一个包”helloworld“,但对方却收到了两个包”hello“和”world“粘包:和分包相反recv()函数参数需要指定接收的字节长度,但是实际开发中是不知道对方发的消息内容有多少个字节,所以一般就是设置为buffer的长度,这就会导致出现粘包和分包的问题解决方法:自定义一份协议规定 报文长度+报文内容:1010helloworld。报文长度采用ascii码(十进制)或者二原创 2021-12-06 16:55:14 · 294 阅读 · 0 评论 -
网络编程-socket通信(一)
socket通信(一)底层封装了TCP/IP协议簇,开发者只要会用socket即可调用底层协议功能。socket分为以下两种通信机制:stream(流):TCP,基于连接,有序可靠datagram(数据包):UDP,不建立连接,不可靠,效率比较高现在用UDP的场景越来越少了,目前实时音视频聊天会用UDP数据包传输。下图是socket通信流程:程序概要socket文件描述符sockfd = socket(AF_INET,SOCK_STREAM,0),socket()函数的返回值其本原创 2021-12-04 22:07:37 · 575 阅读 · 0 评论 -
ray(一)_整体架构和任务调度
Ray整体架构本文主要是对Ray Docs做的一点翻译应用概念:Task:进程上执行的单个函数调用。可以是无状态的(function.remote()),也可以是有状态的(Class.remote(),即actor)。Task是通过.remote()调用,是异步执行的,会返回objectRefs(结果数据的引用)。Actor:有状态的worker进程,被@ray.remote()所装饰的类的实例。Driver:根程序,运行ray.init()的程序。Job:同一个Driver内的tasks,原创 2021-09-14 21:16:00 · 891 阅读 · 0 评论 -
Bazel
BazelBazel是谷歌推出的项目编译工具installDownload the corresponding .repo file from Fedora COPR and copy it to /etc/yum.repos.d/.wget https://copr.fedorainfracloud.org/coprs/vbatts/bazel/repo/epel-7/vbatts-bazel-epel-7.repomv vbatts-bazel-epel-7.repo /etc/yum.r原创 2021-09-14 14:18:36 · 300 阅读 · 0 评论 -
Cassandra初步学习和性能测试
1、cassandra安装下载并解压tar -xzvf apache-cassandra-3.11.10-bin.tar.gz -C /usr/local/创建三个存放数据的文件夹[root@hadoop102 cassandra-3.11.10]# mkdir data[root@hadoop102 cassandra-3.11.10]# mkdir commitlog[root@hadoop102 cassandra-3.11.10]# mkdir saved_cachesco原创 2021-07-20 16:56:15 · 1706 阅读 · 0 评论