go 抓取html,golang抓取网页并分析页面包含的链接方法

1. 下载非标准的包,"golang.org/x/net/html"

2. 先安装git，使用git命令下载

git clone https://github.com/golang/net

3. 将net包，放到GOROOT路径下

比如：

我的是：GOROOT = E:\go\

所以最终目录是：E:\go\src\golang.org\x\net

注意：如果没有golang.org和x文件夹，就创建

4. 创建fetch目录，在其下创建main.go文件，main.go文件代码内容如下：

package main

import (

"os"

"net/http"

"fmt"

"io/ioutil"

)

func main() {

for _, url := range os.Args[1:] {

resp, err := http.Get(url)

if err != nil {

fmt.Fprintf(os.Stderr, "fetch: %v\n", err)

}

b, err := ioutil.ReadAll(resp.Body)

resp.Body.Close()

if err != nil {

fmt.Fprintf(os.Stderr, "fetch: reading %s: %v\n"