协程交替工作

今天闲的没事,就把以前写的一个爬虫,在看看有没有什么可以改进的地方。

看到有一个地方可以改进下,在爬取home页面数据后,获取页面数据,在分别开协程去请求。home页的请求很快大概有2W页每页有数据40条,再把40条数据分别请求,获取具体数据。但是home的请求很快,所需要的chan容量大,于是就想再写一个chan,没读完一页,再去请求下一页。

思路如下:

package main
/*交替打奇偶数
*/
import (
	"fmt"
	"sync"
)

var (
	odd  []  int
	even [] int

	chA = make(chan int, 1)
	chB = make(chan int, 1)

	wgx =sync.WaitGroup{}
)


func init() {
	odd = make([]int, 0)
	even = make([]int, 0)

	for i := 0; i < 100; i++ {
		if i%2 == 0 {
			even = append(even, i)
			continue
		}
		odd = append(odd, i)
	}
}

func main() {
	chA<-0
	wgx.Add(2)
	go pritEven();
	go pritOdd();
	wgx.Wait()
}

func pritEven() {
	for _, v := range even {
		<-chA
		fmt.Println(v)
		chB<-v
	}
	close(chB)
	wgx.Done()
}

func pritOdd() {
	for _, v := range odd {
		<-chB
		fmt.Println(v)
		chA<-v
	}
	close(chA)
	wgx.Done()
}

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值