案例
假设我们有一个网络爬虫程序,需要并发地从多个网站上爬取数据。传统的实现方式是使用多线程,但是线程的创建和销毁开销较大,容易造成资源浪费。通过使用Golang的GMP调度模型,我们可以优雅地解决这个问题。
首先,我们创建一个Goroutine来执行爬取网站的任务。这个Goroutine会将获取到的数据发送到一个通道中。我们同时创建多个Goroutine来处理这个通道中的数据。
当一个Goroutine在爬取网站时,如果发生了阻塞(比如等待I/O),调度器会将其从当前线程解绑,并将其放入等待队列中。这时,该线程可以执行其他可运行的Goroutine,以充分利用计算资源。
当一个阻塞的Goroutine变为可运行状态时(比如I/O操作完成),它会重新被放入全局运行队列中,等待被分配给某个可用的M执行。这样,我们可以实现高效的并发爬取,并充分利用系统的资源。
package main
import (
"fmt"
"net/http"
"io/ioutil"
"sync"
)
func main() {
urls := []string{"http://example.com", "http://example.org", "http://example.net"}
var wg sync.WaitGroup
for \_, url := range urls {
wg.Add(1)
go func(u string) {
defer wg.Done()
resp, err := http.Get(u)
if err != nil {
fmt.Println("Error:", err)
return
}
defer resp.Body.Close()
body, err := ioutil.ReadAll(resp.Body)
if err != nil {
fmt.Println("Error:", err)
return
}
fmt.Printf("Response from %s: %s\n", u, body)
}(url)
}
wg.Wait()
}
案例一:并发计算
假设我们有一个需要计算大量数值的任务,我们可以使用Golang的GMP调度模型来实现并发计算,提高计算效率。
package main
import (
"fmt"
"sync"
)
func main() {
numbers := []int{1, 2, 3, 4, 5, 6, 7, 8, 9, 10}
var wg sync.WaitGroup
for \_, num := range numbers {
wg.Add(1)
go func(n int) {
defer wg.Done()
result := n \* n
fmt.Printf("Square of %d is %d\n", n, result)
}(num)
}
wg.Wait()
}
在上述例子中,我们创建了一个包含10个数值的切片。然后,我们使用sync.WaitGroup
来同步并发计算任务的完成。对于每个数值,我们创建一个Goroutine来执行计算操作。每个Goroutine计算完毕后,通过defer wg.Done()
来通知sync.WaitGroup
任务已完成。最后,通过wg.Wait()
来等待所有任务完成。
案例二:并发网络请求
假设我们需要从多个URL中获取数据,我们可以使用Golang的GMP调度模型来实现并发网络请求,提高获取数据的效率。
package main
import (
"fmt"
"io/ioutil"
"net/http"
"sync"
)
func main() {
urls := []string{"http://example.com", "http://example.org", "http://example.net"}
var wg sync.WaitGroup
for \_, url := range urls {
wg.Add(1)
go func(u string) {
defer wg.Done()
resp, err := http.Get(u)
if err != nil {
fmt.Printf("Error fetching %s: %v\n", u, err)
return
}
defer resp.Body.Close()
body, err := ioutil.ReadAll(resp.Body)
if err != nil {
fmt.Printf("Error reading response body from %s: %v\n", u, err)
return
}
fmt.Printf("Response from %s: %s\n", u, body)
}(url)
}
wg.Wait()
}
在上述例子中,我们创建了一个包含3个URL的切片。然后,我们使用sync.WaitGroup
来同步并发网络请求任务的完成。对于每个URL,我们创建一个Goroutine来执行网络请求操作。每个Goroutine完成请求后,通过defer wg.Done()
来通知sync.WaitGroup
任务已完成。最后,通过wg.Wait()
来等待所有任务完成。
案例三:并发文件处理
假设我们有一个包含多个文件名的切片,我们可以使用Golang的GMP调度模型来并发地处理这些文件,提高文件处理的效率。
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
[外链图片转存中…(img-mQDjr5IF-1726019195746)]
[外链图片转存中…(img-UWoOA0QN-1726019195747)]
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。