go实现分布式爬虫1

天帅风ztm

已于 2022-03-12 21:54:48 修改

阅读量1.8k

点赞数

分类专栏： golang 文章标签：爬虫 golang 分布式

于 2022-03-12 14:50:53 首次发布

本文链接：https://blog.csdn.net/qq_17199495/article/details/123442264

版权

本文介绍了使用Go语言的`net/http`包构建爬虫的初步步骤，包括发起HTTP GET和POST请求，设置UA，以及如何处理爬取的页面信息。提供了主要代码示例，演示了如何创建客户端，请求URL并解析响应。对于POST情况下可能无法获取数据的问题，提出了利用结构体和JSON的方法。

摘要由CSDN通过智能技术生成

go爬虫初探1

go爬虫先了解go的"net/http"包

这里先学习一下go的get和post请求，具体就是请求数据，然后获取返回的resp，分析resp获取你想要爬取的东西

具体代码可到 https://gitee.com/longshuai/go-reptile 这里下载

爬虫初探

u := fmt.Sprintf(`https://movie.douban.com/top250?start=%d`, 0)
	client := &http.Client{}

	req, err := http.NewRequest(http.MethodGet, u, nil)
	if err != nil {
		panic(err)
		return
	}
	req.Header.Set(`User-Agent`, `Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.108 Safari/537.36`)
	resp, err := client.Do(req)

这里张贴主要代码，首先创建一个客户端，通过http.NewRequest 请求url地址，req.Header.Set设置ua，最后执行client.Do(req)，就可以返回爬取的页面。第一步就算完成了。