Go语言---HTTP编程基础（简单版百度贴吧爬虫）

网络爬虫

网络爬虫又称网络蜘蛛、网络蚂蚁、网络机器人等，可以自动化浏览网络中的信息，当然浏览信息的时候需要按照我们制定的规则进行，这些规则我们称之为网络爬虫算法。使用Python可以很方便地编写出爬虫程序，进行互联网信息的自动化检索。

搜索引擎离不开爬虫，比如百度搜索引擎的爬虫叫作百度蜘蛛（Baiduspider）。百度蜘蛛每天会在海量的互联网信息中进行爬取，爬取优质信息并收录，当用户在百度搜索引擎上检索对应关键词时，百度将对关键词进行分析处理，从收录的网页中找出相关网页，按照一定的排名规则进行排序并将结果展现给用户。

在这个过程中，百度蜘蛛起到了至关重要的作用。那么，如何覆盖互联网中更多的优质网页？又如何筛选这些重复的页面？这些都是由百度蜘蛛爬虫的算法决定的。采用不同的算法，爬虫的运行效率会不同，爬取结果也会有所差异。

实现简单版百度贴吧爬虫

要求： 获取https://tieba.baidu.com/f?ie=utf-8&kw=%E7%BB%9D%E5%9C%B0%E6%B1%82%E7%94%9F&pn=页面内容，存入文件中。

func main() {
	var start, end int
	fmt.Printf("请输入起始页(>=1):")
	fmt.Scan(&start)
	fmt.Printf("请输入终止页(>=起始页):")
	fmt.Scan(&end)

	DoWork(start, end)
}

• 输入起始页以及终止页

func DoWork(start, end int) {
	fmt.Printf("正在爬取%d到%d的页面\n", start, end)
	for i := start; i <= end; i++ {

		//明确要在那一个范围进行搜索
		ur1 := "https://tieba.baidu.com/f?ie=utf-8&kw=%E7%BB%9D%E5%9C%B0%E6%B1%82%E7%94%9F&pn=" +
			strconv.Itoa((i-1)*50)
		fmt.Println("ur1=", ur1)

		//爬
		result, err := HttpGet(ur1)
		if err != nil {
			fmt.Println("HttpGet.err=", err)
			continue
		}

		//把内容写入文件
		fileName := strconv.Itoa(i) + ".html"
		f, err1 := os.Create(fileName)
		if err1 != nil {
			fmt.Println("os.Create.err1=", err1)
			continue
		}
		f.WriteString(result) //写

		f.Close()

	}
}

• 明确要在那一个范围进行搜索ur1 := "https://tieba.baidu.com/f?ie=utf-8&kw=%E7%BB%9D%E5%9C%B0%E6%B1%82%E7%94%9F&pn=" + strconv.Itoa((i-1)*50) 实际的页面是一页50个数据，所以以此来进行获取。
• 获取result, err := HttpGet(ur1)

func HttpGet(ur1 string) (result string, err error) {
	resp, err1 := http.Get(ur1)
	if err1 != nil {
		err = err1
		return
	}

	defer resp.Body.Close()

	//读取网页内容
	buf := make([]byte, 1024*4)
	for {
		n, err := resp.Body.Read(buf)
		if n == 0 { //读取结束或者出问题了
			fmt.Println("resp.Body.Read.err=", err)
			break
		}

		result += string(buf[:n])
	}
	return
}

Get底层

func Get(url string) (resp *Response, err error) {
	return DefaultClient.Get(url)
}

• 读取网页的内容n, err := resp.Body.Read(buf)
• 返回结果
• DoWork将放回的内容写入文件中

结果展示