go语言与爬虫

go语言与爬虫

0. 网页爬虫

• 横向爬取：找寻网页的页与页之间的规律。分页器规律
• 纵向爬取：找寻网页之间条目与条目之间的规律。

1. 爬取流程

1. 明确URL，找寻网页分页器规律
2. 获取网页数据 http.Get()
3. 使用正则表达式筛选有用信息 MustCompile、FindallstringSubmatch
4. 保存信息到本地

2. 爬取信息

横向规律：

https://movie.douban.com/top250?start=25&filter= – 第二页

https://movie.douban.com/top250?start=50&filter= – 第三页

https://movie.douban.com/top250?start=75&filter= – 第四页

规律：从0开始，每多一页+25

纵向规律：

• 电影名称：<img width="100" alt="(电影名称)"
• 评分：<span class="rating_num" property="v:average">(评分)</span>
• 评价人数：<span>(平均人数)人评价</span>

package main

import (
	"fmt"
	"strconv"
	"net/http"
	"io"
	"regexp"
	"os"
)

// 封装函数, 获取网页数据  http.GEt
func HttpGET(url string) string {
	// http.Get() 获取web服务器回发的 应答包
	resp, err := http.Get(url)
	if err != nil {
		fmt.Println("http.Get err:", err)
		return ""
	}
	defer resp.Body.Close()

	// 接收读取的 数据, 做返回
	var result string

	buf := make([]byte, 4096)

	// 循环读取网页数据
	for {
		n, err := resp.Body.Read(buf)
		if n == 0 {
			break
		}
		if err != nil && err != io.EOF {
			fmt.Println("Body.Read err:", err)
			return ""
		}
		result += string(buf[:n])
	}
	return result
}

// 封装函数,爬取一个网页数据
func SpiderPage(i int, quit chan<- int)  {
	// 明确url
	url := "https://movie.douban.com/top250?start=" + strconv.Itoa((i-1)*25) + "&filter="
	result := HttpGET(url)

	// 编译解析正则表达式  -- 电影名称
	ret1 := regexp.MustCompile(`<img width="100" alt="(?s:(.*?))"`) // (.*?)

	// 使用正则筛选数据
	filmNames := ret1.FindAllStringSubmatch(result, -1)

	// 编译解析正则表达式  -- 评分
	ret2 := regexp.MustCompile(`<span class="rating_num" property="v:average">(.*?)</span>`) // (.*?)

	// 使用正则筛选数据
	filmScores := ret2.FindAllStringSubmatch(result, -1)

	// 编译解析正则表达式  -- 电影名称
	ret3 := regexp.MustCompile(`<span>(\d+)人评价</span>`) // (.*?)

	// 使用正则筛选数据
	peoNums := ret3.FindAllStringSubmatch(result, -1)

	// 保存数据 - 封装函数
	save2File(i, filmNames, filmScores, peoNums)

	quit <- i
}

func main() {
	// 提示用户,指定爬取的起始/终止页
	fmt.Print("请输入爬取起始页(>=1)start:")
	var start int
	fmt.Scan(&start)

	fmt.Print("请输入爬取终止页(>=start):")
	var end int
	fmt.Scan(&end)

	// 创建 channel 协调主子go程
	quit := make(chan int)

	for i := start; i <= end; i++ {
		go SpiderPage(i, quit)
	}

	for i := start; i <= end; i++ {
		fmt.Printf("第%d页爬取完毕!\n", <-quit)
	}
}

func save2File(i int, filmNames, filmScores, peoNums [][]string) {

	//filePath := "/home/itcast/4go/" + "第" + strconv.Itoa(i) + "页.txt"
	filePath := "第" + strconv.Itoa(i) + "页.txt"
	// 创建新文件保存网页数据.
	f, err := os.Create(filePath)
	if err != nil {
		fmt.Println("Create err:", err)
		return
	}
	defer f.Close()

	// 组织文件存储格式
	f.WriteString("电影名称\t\t评价分数\t\t评价人数\n")

	// 依次写入数据
	len := len(filmNames)
	for i := 0; i < len; i++ {
		f.WriteString(filmNames[i][1] + "\t\t" + filmScores[i][1] + "\t\t" + peoNums[i][1] + "\n")
	}
}

3. 爬取壁纸

http://desk.zol.com.cn/bizhi/9547_115837_2.html – 1

http://desk.zol.com.cn/bizhi/9547_115834_2.html – 2

http://desk.zol.com.cn/bizhi/9547_115835_2.html – 3

http://desk.zol.com.cn/bizhi/9547_115836_2.html – 4

<img id="bigImg" src="(url)"

package main

import (
	"fmt"
	"io"
	"net/http"
	"os"
	"regexp"
	"strconv"
)

// 封装函数获取网页数据
func HttpImgGET(url string) string {
	resp, err := http.Get(url)
	if err != nil {
		fmt.Println("http.Get err:", err)
		return ""
	}
	defer resp.Body.Close()

	// 接收读取的 数据, 做返回
	var result string

	buf := make([]byte, 4096)

	// 循环读取网页数据
	for {
		n, err := resp.Body.Read(buf)
		if n == 0 {
			break
		}
		if err != nil && err != io.EOF {
			fmt.Println("Body.Read err:", err)
			return ""
		}
		result += string(buf[:n])
	}
	return result
}

func SpiderImg(i int, quit chan<- int) {
	// 组织url
	url := "http://desk.zol.com.cn/bizhi/9547_11583"+strconv.Itoa(4+i)+"_2.html"
	// fmt.Println(url)
	result := HttpImgGET(url)
	// fmt.Println(result)

	// 编译解析正则表达式
	ret := regexp.MustCompile(`<img id="bigImg" src="(?s:(.*?))"`)

	// 筛选出图片的url
	data := ret.FindAllStringSubmatch(result, -1)
	for _, str := range data {
		result := HttpImgGET(str[1])
		imgName := strconv.Itoa(i+1) + ".jpg"
		f, err := os.Create(imgName)
		if err != nil {
			fmt.Println("Creat error:", err)
			return
		}
		defer f.Close()
		f.WriteString(result)
	}
	quit <- i+1
}

func main() {
	fmt.Print("请输入要下载的图片数量：")
	var num int
	fmt.Scan(&num)

	quit := make(chan int)
	for i:=0; i<num; i++ {
		go SpiderImg(i, quit)
	}

	for i:=0; i<num; i++ {
		fmt.Printf("第%d张图片保存完毕\n", <-quit)
	}
}