【go语言圣经】练习1.10-1.11

练习1.10

描述：找一个数据量比较大的网站，用本小节中的程序调研网站的缓存策略，对每个URL执行两遍请求，查看两次时间是否有较大的差别，并且每次获取到的响应内容是否一致，修改本节中的程序，将响应结果输出，以便于进行对比。
代码：

package main

import (
	"fmt"
	"io"
	"net/http"
	"os"
	"time"
)

func main() {
	start := time.Now()
	ch := make(chan string)
	//var b []byte
	for _, url := range os.Args[1:] {
		go fetch(url, ch) // start a goroutine
		go fetch(url, ch)
	}

	//for range os.Args[1:] {
	//	fmt.Println(<-ch) // receive from channel ch
	//}
	//原本的只能输出参数一样的长度
	for i := 0; i < len(os.Args[1:])*2; i++ {
		fmt.Println(<-ch)
	}
	fmt.Printf("%.2fs elapsed\n", time.Since(start).Seconds())
}

func fetch(url string, ch chan<- string) {
	start := time.Now()
	resp, err := http.Get(url)
	if err != nil {
		ch <- fmt.Sprint(err) // send to channel ch
		return
	}
	//nbytes, err := io.Copy(ioutil.Discard, resp.Body)
	nbytes, err := io.Copy(os.Stdout, resp.Body)
	resp.Body.Close() // don't leak resources
	if err != nil {
		ch <- fmt.Sprintf("while reading %s: %v", url, err)
		return
	}
	secs := time.Since(start).Seconds()
	ch <- fmt.Sprintf("%.2fs %7d %s", secs, nbytes, url)
}

运行：

练习1.11

描述：在fatchall中尝试使用长一些的参数列表，比如使用在alexa.com的上百万网站里排名靠前的。如果一个网站没有回应，程序将采取怎样的行为？（Section8.9 描述了在这种情况下的应对机制）。

代码：
（PS）：如果你在 fetchall 程序中使用很多 URL 作为参数，其中一些 URL 可能会因为服务器问题或网络问题而无法响应。这时，http.Get(url) 函数会阻塞并等待服务器的响应。如果服务器一直不响应，那么 http.Get(url) 函数可能会阻塞很长时间，甚至永远不会返回。这就可能导致你的 fetchall 程序无法继续执行。
我们可以设置请求的超时时间，如果在超时时间内服务器没有响应，那么 http.Get(url) 函数就会返回一个错误。

package main

import (
	"fmt"
	"io"
	"io/ioutil"
	"net/http"
	"os"
	"time"
)

func main() {
	start := time.Now()
	ch := make(chan string)
	//var b []byte
	for _, url := range os.Args[1:] {
		go fetch(url, ch) // start a goroutine
		go fetch(url, ch)
	}

	//for range os.Args[1:] {
	//	fmt.Println(<-ch) // receive from channel ch
	//}
	//原本的只能输出参数一样的长度
	for i := 0; i < len(os.Args[1:])*2; i++ {
		fmt.Println(<-ch)
	}
	fmt.Printf("%.2fs elapsed\n", time.Since(start).Seconds())
}

func fetch(url string, ch chan<- string) {
	start := time.Now()
	//建立一个HTTP客户端绑定时间
	client := http.Client{
		Timeout: time.Second * 10,
	}

	resp, err := client.Get(url)
	if err != nil {
		ch <- fmt.Sprint(err) // send to channel ch
		return
	}
	nbytes, err := io.Copy(ioutil.Discard, resp.Body)
	//nbytes, err := io.Copy(os.Stdout, resp.Body)
	resp.Body.Close() // don't leak resources
	if err != nil {
		ch <- fmt.Sprintf("while reading %s: %v", url, err)
		return
	}
	secs := time.Since(start).Seconds()
	ch <- fmt.Sprintf("%.2fs %7d %s", secs, nbytes, url)
}

运行：

PS:如图可以看到总消耗时间为10.01s与我们设置的10s的延迟是对应的。