golang爬虫 colly的使用

colly官方 example

func main(){
   
	// Collector对象 负责所有的请求与数据处理
	// 在创建 Collector 对象时，通过设置 URLFilters 属性，在 URLFilters 设置正则表达式，符合正则表达式的 url 才能被访问。
	c := colly.NewCollector(
		colly.Async(true), //开启异步
		colly.UserAgent("Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36"),