【Golang实战】——XPath解析网页

引言

之前用Python写过一个解析网页的脚本，最近开始研究golang，所以准备用golang将其重构，但是这个脚本中使用了到了python中的xpath库，所以研究了下，golang也有对应的库，这个库比我们使用正则从网页中获取我们需要的内容更简单些。

实例

我们以解析网页中的ip+端口为例：网站：https://www.kuaidaili.com/free/inha

1、引入包

github.com/antchfx/htmlquery v1.2.5 

 2、获得网页内容

func getHtml(url_ string) string {
	req, _ := http.NewRequest("GET", url_, nil)
	req.Header.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3776.0 Safari/537.36")
	client := &http.Client{Timeout: time.Second * 5}
	resp, err := client.Do(req)
	if err != nil {
		log.Fatalln(err)
	}
	defer resp.Body.Close()
	data, err := ioutil.ReadAll(