文章目录 写在前面 1. 单线程爬虫 2. 多线程爬虫 2.1 channel 2.2 sync.WaitGroup 3. 源码地址 写在前面 这篇文章主要让大家明白多线程爬虫,因为go语言实现并发是很容易的。 这次的服务端,是我们之前搭建的电子商城平台,所以我们不担心ip被封之类的问题。 而实际生产环境中,其实我们都是用python爬虫的。python实现多线程也很简单。 这次我们可以试试新玩法,试试go语言的并发爬虫。 主要是爬取第一页的商品,爬取十次,比较单线程和多线程的时间。 1. 单线程爬虫 定义一个用户 var Client http.Client 主函数 func main(