LAB1
完成lab1遇到的问题及解决方法
1
原因是在最开始测试这个文件的时候,由于mrmaster.go的main函数循环调用了Done,在那会有死循环,根据实验文档将那返回值设置为true,导致该文件会立即退出循环返回。因此在测试的时候server会直接关闭,而此时客户端调用失败,因为服务端已经退出。
解决办法;
将done的返回值改回false
2
发现文件的读取每次只读取三个,查看脚本发现它是用了三个work。以为是一个work执行以此map,很明显想法不对,这里应该是一个work执行几次map,使用一个循环
3
intermediate := []KeyValue{}
for i := 0; i < reply.IdMap; i++ {
tmpfile := "mr-" + strconv.Itoa(i) + "-" + strconv.Itoa(reply.IdReduce)
file, err := os.OpenFile(tmpfile, os.O_RDONLY, 0644)
if err != nil {
fmt.Println("openfile error")
}
dec := json.NewDecoder(file)
for {
var kv KeyValue
if err := dec.Decode(&kv);err != nil {
break;
}
intermediate= append(intermediate, kv)
}
file.Close()
}
运行结果中mr-out-*的文件为空,检查发现intermediate为空。
改了两行代码结果就对了,具体原因暂且不清楚
var kv []KeyValue
if err := dec.Decode(&kv);err != nil {
break;
}
intermediate= append(intermediate, kv...)
4
Reduce的并行度测试一直不过,花了一下午才找到原因是两个进程交替执行map,一个map在Fin之后还没有到达退出条件,继续get,但是此时管道的最后一个数据被另外一个进程获得。此时进程被一直阻塞在map,因此后续的执行只有一个进程继续往下执行reduce,导致测试不通过
5
Jobcount测试失败,因为我在这里的判断是如果没有数据需要处理就往下继续运行,导致最后一个也会再运行一次map,因此测试不通过。
在get中加一个判断,如果没有数据需要处理,判断是否所有数据都处理完了。是则将replay的fin设置为true,并将退出条件移到get之后
将上述过程包在循环里,符合条件退出循环,因为可能出现get时两个数还不相等,即另一个线程还没有执行到fin的可能性,直接用for循环,如果没有数据,就一直等待执行完成的退出条件
6
在初始化时直接使用了args:=Request{},但是args有一个结构体属性,也需要初始化,初始化并将属性mbp首字母大写为Mbp,错误解决
原因在lab2的a提示部分中得知:
Go的RPC只发送以大写字母开头的结构体字段。子结构体也必须具有大写字母开头的字段名(例如,数组中的日志记录的字段)。labgob包会对此发出警告,请不要忽略这些警告。
7
发现时因为使用map的时候没有加锁,加锁之后问题解决
8
写入文件失败,尝试在整个文件写完之后加一个刷新,不知道是否解决问题
9
出现call里写入的reply失效,得到的数据仍然是传入之前的数据。原因不明,解决想法是每次循环都刷新结构体重新初始化
lab1成功完成
总结
总体来说lab1是比较简单的。遇到的最大的困难就是对go的语法不熟练和加锁的问题。总之就是要细心,程序并发执行,稍微一粗心就会遇到大问题。
lab1告一段落,后续在空闲时间还会继续实现lab2。