内容 1 了解golang 中的rpc 和 rpc
1 为什么使用go进行教学
- go 中有 goroutine,更容易使用的并发机制
- 更加方便使用的 RPC
- 类型安全
- 提供 GC 机制
- 相比于 c++, golang 更加简单易用
golang 中的 goroutine
并发对分布式编程是十分重要的,并且 go 的 goroutine 是十分简单易用的。 稍微了解 go 的都知道其实 goroutine 是建立在系统线程上的一种机制,更加轻便,快速切换。
使用 thread 的原因
I/O 并发:客户端发送多个请求给不同的服务器然后等待回复,服务器接收多个客户端的请求进行处理。等待磁盘读取的同时处理客户的请求。 多核性能:可以充分地利用多核的性能 方便一些实现:例如 master 循环的检查每个 worker 状态是否正常。
thread 的替代方案:
在一个线程中使用事件循环机制,将所有事件存储起来,并不断地获取触发的事件并进行处理。redis 中有类似的操作。
使用 thread 的挑战:
- 共享内存带来的冲突,可以加锁,或者使用 TLS
- thread 之间的同步。golang 中推荐 channel 来进行同步,go 还提供了许多同步方式,sync 包中
- 死锁
爬虫示例
课程后半段通过一个爬虫例子来分别展示了三种不同的方式实现了 Crawler。
- 递归的进行爬取
- 通过 goroutine + WaitGroup 的方式并发的实现 Crawler,并通过 Mutex + map 的方式防止爬取重复的