Golang GMP调度模型：实现高效协程调度和执行

当一个Goroutine在爬取网站时，如果发生了阻塞（比如等待I/O），调度器会将其从当前线程解绑，并将其放入等待队列中。这时，该线程可以执行其他可运行的Goroutine，以充分利用计算资源。

当一个阻塞的Goroutine变为可运行状态时（比如I/O操作完成），它会重新被放入全局运行队列中，等待被分配给某个可用的M执行。这样，我们可以实现高效的并发爬取，并充分利用系统的资源。

package main

import (
    "fmt"
    "net/http"
    "io/ioutil"
    "sync"
)

func main() {
    urls := []string{"http://example.com", "http://example.org", "http://example.net"}
    var wg sync.WaitGroup
    
    for \_, url := range urls {
        wg.Add(1)
        go func(u string) {
            defer wg.Done()
            resp, err := http.Get(u)
            if err != nil {
                fmt.Println("Error:", err)
                return
            }
            defer resp.Body.Close()
            
            body, err := ioutil.ReadAll(resp.Body)
            if err != nil {
                fmt.Println("Error:", err)
                return
            }
            
            fmt.Printf("Response from %s: %s\n", u, body)
        }(url)
    }
    
    wg.Wait()
}

案例一：并发计算

假设我们有一个需要计算大量数值的任务，我们可以使用Golang的GMP调度模型来实现并发计算，提高计算效率。

package main

import (
	"fmt"
	"sync"
)

func main() {
	numbers := []int{1, 2, 3, 4, 5, 6, 7, 8, 9, 10}
	var wg sync.WaitGroup

	for \_, num := range numbers {
		wg.Add(1)
		go func(n int) {
			defer wg.Done()
			result := n \* n
			fmt.Printf("Square of %d is %d\n", n, result)
		}(num)
	}

	wg.Wait()
}

在上述例子中，我们创建了一个包含10个数值的切片。然后，我们使用sync.WaitGroup来同步并发计算任务的完成。对于每个数值，我们创建一个Goroutine来执行计算操作。每个Goroutine计算完毕后，通过defer wg.Done()来通知sync.WaitGroup任务已完成。最后，通过wg.Wait()来等待所有任务完成。

案例二：并发网络请求

假设我们需要从多个URL中获取数据，我们可以使用Golang的GMP调度模型来实现并发网络请求，提高获取数据的效率。

package main

import (
	"fmt"
	"io/ioutil"
	"net/http"
	"sync"
)

func main() {
	urls := []string{"http://example.com", "http://example.org", "http://example.net"}
	var wg sync.WaitGroup

	for \_, url := range urls {
		wg.Add(1)
		go func(u string) {
			defer wg.Done()
			resp, err := http.Get(u)
			if err != nil {
				fmt.Printf("Error fetching %s: %v\n", u, err)
				return
			}
			defer resp.Body.Close()

			body, err := ioutil.ReadAll(resp.Body)
			if err != nil {
				fmt.Printf("Error reading response body from %s: %v\n", u, err)
				return
			}

			fmt.Printf("Response from %s: %s\n", u, body)
		}(url)
	}

	wg.Wait()
}

在上述例子中，我们创建了一个包含3个URL的切片。然后，我们使用sync.WaitGroup来同步并发网络请求任务的完成。对于每个URL，我们创建一个Goroutine来执行网络请求操作。每个Goroutine完成请求后，通过defer wg.Done()来通知sync.WaitGroup任务已完成。最后，通过wg.Wait()来等待所有任务完成。

案例三：并发文件处理

假设我们有一个包含多个文件名的切片，我们可以使用Golang的GMP调度模型来并发地处理这些文件，提高文件处理的效率。

package main

import (
	"fmt"
	"io/ioutil"


![img](https://img-blog.csdnimg.cn/img_convert/84d7ce699bd07c4b6388414117783fa1.png)
![img](https://img-blog.csdnimg.cn/img_convert/d1623f32855530a7be3386ec0535ce91.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

加入社区》https://bbs.csdn.net/forums/4304bb5a486d4c3ab8389e65ecb71ac0
lrABZ-1725661188164)]

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

加入社区》https://bbs.csdn.net/forums/4304bb5a486d4c3ab8389e65ecb71ac0