写在前面
这篇文章主要让大家明白多线程爬虫
,因为go语言实现并发是很容易的。
这次的服务端,是我们之前搭建的电子商城平台,所以我们不担心ip被封
之类的问题。
而实际生产环境中,其实我们都是用python
爬虫的。python实现多线程也很简单。
这次我们可以试试新玩法,试试go语言的并发爬虫。
主要是爬取第一页的商品,爬取十次,比较单线程和多线程的时间。
1. 单线程爬虫
var Client http.Client
func main() {
url := "http://localhost:3000/api/v1/