Golang原生爬虫简单爬虫实现不依赖第三方包库方便理解技术原理（二）

最新推荐文章于 2023-09-13 11:23:16 发布

石石石头哥哥

最新推荐文章于 2023-09-13 11:23:16 发布

阅读量6.6k

点赞数 6

分类专栏： Golang 文章标签： Go爬虫 Golang爬虫简单爬虫 golang原生爬虫网络爬虫

本文链接：https://blog.csdn.net/superwebmaster/article/details/80324442

版权

Golang 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

上一篇回顾：Golang原生爬虫简单爬虫实现不依赖第三方包库方便理解技术原理（一）

程序首次执行成功后，我们已经成功获取了源页面所提供的链接地址。下面我们自然要做的就是通过计时器来爬抓链接列表里的地址。

下一步就是要通过地址列表里的地址逐一爬抓，去掉已经爬抓过的练级，并记录新的有效链接到地址列表里。

再看一下我们的main函数：

func main() {
	if checkFile("./data/", "url.txt").Size() == 0 {
		fistStart()
		main()
	} else {
		Timer()
	}
}

上面的firstStart函数（首次执行爬抓）已经执行过了，那就会重新调用main函数，也就是在执行一次判断，但是因为我们的url.txt里已经有12条Url地址，所以这次会执行Timer函数。

Timer函数里我们写了一个计时器，防止程序崩溃或者网络崩溃，所以我这里设置了1秒执行一次，其实没有必要这样，一秒钟执行3-8次也是没什么大问题的（本地情况下），如果放在服务器上，那你得看一下自己的服务器配置和带宽配置酌情考虑了

看一下Timer函数吧：

func Timer() {
	t := time.NewTimer(time.Second * 1)
	<-t.C
	fmt.Print("\n\n\n执行爬抓\n\n")
	f, _ := os.OpenFile("./data/url.txt", os.O_CREATE|os.O_APPEND|os.O_RDWR, 0666)
	file, _ := ioutil.ReadAll(f)
	pageCont, _ := pageVisit(strings.Split(string(file), "\n")[0])
	if checkRegexp(checkRegexp(pageCont, regTitle, 0).(string), regCheckTitle, 0).(string) != "" {
		fmt.Print(checkRegexp(checkRegexp(pageCont, regTitle, 0).(string), regCheckTitle, 0).(string))
		fmt.Print("\n有效内容 => " + checkRegexp(pageCont, regTitle, 0).(string))
	}
	fmt.Print("\n\n待爬抓网址共" + strconv.Itoa(len(strings.Split(string(file), "\n"))-1) + "个 => " + strings.Split(string(file), "\n")[0] + "\n")
	DelFirstText("./data/url.txt")
	Timer()
}

emm...毫不夸张的表示我看自己的代码都有点吃力

上面的代码创建了一个计时器，时间为一秒。刚开始肯定是先要打开url.txt文件,因为是要做删除和添加操作的，所以打开的模式是读写追加。

pageCont, _ := pageVisit(strings.Split(string(file), "\n")[0])

这一句就是获取url.txt里的第一条链接地址，我们要先判断一下这个链接内容是不是我们想要的，所以我又用到了之前封装的一个正则检查的函数。

checkRegexp函数：

func checkRegexp(cont string, reg string, style int) (result interface{}) {
	check := regexp.MustCompile(reg)
	switch style {
	case 0:
		result = check.FindString(cont)
	case 1:
		result = check.FindAllString(cont, -1)
	default:
		result = check.FindAll([]byte(cont), -1)
	}
	return
}

所用到的正则 => regTitle、regCheckTitle

var (
	// regHref       = `((ht|f)tps?)://[w]{0,3}.baidu.com/link\?[a-zA-z=0-9-\s]*`
	regTitle      = `<title[\sa-zA-z="-]*>([^x00-xff]|[\sa-zA-Z=-：|，？"])*</title>`
	regCheckTitle = `(为什么|怎么)*.*([G|g][O|o][L|l][A|a][N|n][G|g]).*(怎么|实现|如何|为什么).*`
)

regTitle是为了在代码中匹配真标题，因为有些网站为了防止爬虫，做了一些假标题以混淆视听，但是这些小伎俩还是很容易解决的，这个regTitle足以屏蔽掉70%的假标题。

反正爬虫就是要和各大网站斗智斗勇 /手动滑稽

regCheckTitle是为了过滤出这个网址是不是我想要的内容，所以我简单的写了一串正则。这串正则的意思主要是标题要带有为什么、怎么等关键词，然后标题必须有golang或者go的存在，这样的内容基本上是我想要的了。

判断的代码段：

if checkRegexp(checkRegexp(pageCont, regTitle, 0).(string), regCheckTitle, 0).(string) != "" {
	fmt.Print(checkRegexp(checkRegexp(pageCont, regTitle, 0).(string), regCheckTitle, 0).(string))
	fmt.Print("\n有效内容 => " + checkRegexp(pageCont, regTitle, 0).(string))
}

如果匹配不到，那就跳过这一条链接咯，反正不是我想要的~

DelFirstText("./data/url.txt")

func DelFirstText(file string) {
	var text = ""
	f, _ := os.OpenFile(file, os.O_RDWR|os.O_CREATE, 0666)
	files, _ := ioutil.ReadAll(f)
	var ss = strings.Split(string(files), "\n")
	for i := 1; i < len(ss)-1; i++ {
		text += ss[i] + "\n"
	}
	defer f.Close()
	ioutil.WriteFile(file, []byte(text), 0666)
	fmt.Print("\n\n删除该地址 => " + ss[0])
}

然后这一段就是说删掉这一条链接地址，如果没有有一段，你的爬虫将不厌其烦的去爬抓第一条链接地址，能一直爬到你的ip被服务器安全程序处理掉

应该有人发现，然后呢？怎么没有把东西入库，怎么没有抓取新的链接。

emm...博主最近有点忙，这一段还没写，不过这些内容已经把爬虫的基本原理都给讲掉了，其实很简单对不对，就是发起http请求，然后通过正则匹配出自己想要的内容，再做后续的入库或者注入新鲜链接地址，让程序一直运行下去就好了。

运行一下：

嗯，就这样，有效内容就过滤出来了。

然后如果想要把文章内容提取出来，只需要一个很简单的正则就可以了，这里的处理步骤其实可以写一个单独的函数来调用。但博主现在还没有写，可能会在第三篇写上，如果访问量破2k的话

为了防止有些地方细节代码没有贴上，我把main.go的代码贴一下吧，也可以进文章底部的链接下载整个程序的代码实例，如果还有问题可以call我，qq在上一篇文章里，就不重复贴了。

main.go:

package main

import (
	"fmt"
	"io"
	"io/ioutil"
	"net/http"
	"os"
	"regexp"
	"strconv"
	"strings"
	"time"
)

var (
	// regHref       = `((ht|f)tps?)://[w]{0,3}.baidu.com/link\?[a-zA-z=0-9-\s]*`
	regTitle      = `<title[\sa-zA-z="-]*>([^x00-xff]|[\sa-zA-Z=-：|，？"])*</title>`
	regCheckTitle = `(为什么|怎么)*.*([G|g][O|o][L|l][A|a][N|n][G|g]).*(怎么|实现|如何|为什么).*`
)

func main() {
	if checkFile("./data/", "url.txt").Size() == 0 {
		fistStart()
		main()
	} else {
		Timer()
	}
}

func Timer() {
	t := time.NewTimer(time.Second * 1)
	<-t.C
	fmt.Print("\n\n\n执行爬抓\n\n")
	f, _ := os.OpenFile("./data/url.txt", os.O_CREATE|os.O_APPEND|os.O_RDWR, 0666)
	file, _ := ioutil.ReadAll(f)
	pageCont, _ := pageVisit(strings.Split(string(file), "\n")[0])
	if checkRegexp(checkRegexp(pageCont, regTitle, 0).(string), regCheckTitle, 0).(string) != "" {
		fmt.Print(checkRegexp(checkRegexp(pageCont, regTitle, 0).(string), regCheckTitle, 0).(string))
		fmt.Print("\n有效内容 => " + checkRegexp(pageCont, regTitle, 0).(string))
	}
	fmt.Print("\n\n待爬抓网址共" + strconv.Itoa(len(strings.Split(string(file), "\n"))-1) + "个 => " + strings.Split(string(file), "\n")[0] + "\n")
	DelFirstText("./data/url.txt")
	Timer()
}

func fistStart() {
	var num int
	url := "http://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&tn=39042058_20_oem_dg&wd=golang%E5%AE%9E%E7%8E%B0&oq=golang%2520%25E5%2588%25A0%25E9%2599%25A4%25E6%2595%25B0%25E7%25BB%2584&rsv_pq=d9be28ec0002df1b&rsv_t=8017GWpSLPhDmKilZQ1StC04EVpUAeLEP90NIm%2Bk5pRh5R9o57NHMO8Gaxm1TtSOo%2FvtJj%2B98%2Fsc&rqlang=cn&rsv_enter=1&inputT=3474&rsv_sug3=16&rsv_sug1=11&rsv_sug7=100&rsv_sug2=0&rsv_sug4=4230"
	resp, _ := http.Get(url)
	defer resp.Body.Close()
	body, _ := ioutil.ReadAll(resp.Body)
	reg := regexp.MustCompile(`((ht|f)tps?)://[w]{0,3}.baidu.com/link\?[a-zA-z=0-9-\s]*`)
	f, _ := os.OpenFile("./data/url.txt", os.O_CREATE|os.O_APPEND|os.O_RDWR, 0666)
	defer f.Close()
	for _, d := range reg.FindAllString(string(body), -1) {
		ff, _ := os.OpenFile("./data/url.txt", os.O_RDWR, 0666)
		file, _ := ioutil.ReadAll(ff)
		dd := strings.Split(d, "")
		dddd := ""
		for _, ddd := range dd {
			if ddd == "?" {
				ddd = `\?`
			}
			dddd += ddd
		}
		if checkRegexp(string(file), dddd, 0).(string) == "" {
			io.WriteString(f, d+"\n")
			fmt.Print("\n收集地址：" + d + "\n")
			num++
		}
		// fmt.Print(string(file))
		ff.Close()
	}
	fmt.Print("\n首次收集网络地址：" + strconv.Itoa(len(reg.FindAllString(string(body), -1))) + "\n")
	fmt.Print("\n去重后网络地址数：" + strconv.Itoa(num))
	fmt.Print("\n\n首次储存成功！\n")
}

func pageVisit(url string) (page string, body []byte) {
	resp, _ := http.Get(url)
	defer resp.Body.Close()
	body, _ = ioutil.ReadAll(resp.Body)
	page = string(body)
	return
}

func checkFile(dir string, file string) os.FileInfo {
	list, _ := ioutil.ReadDir(dir)
	for _, info := range list {
		if info.Name() == file {
			return info
		}
	}
	return list[0]
}

func saveFile(file string, cont string) {
	f, _ := os.OpenFile(file, os.O_RDWR|os.O_APPEND|os.O_CREATE, 0666)
	defer f.Close()
	io.WriteString(f, cont)
}

func checkRegexp(cont string, reg string, style int) (result interface{}) {
	check := regexp.MustCompile(reg)
	switch style {
	case 0:
		result = check.FindString(cont)
	case 1:
		result = check.FindAllString(cont, -1)
	default:
		result = check.FindAll([]byte(cont), -1)
	}
	return
}

func DelFirstText(file string) {
	var text = ""
	f, _ := os.OpenFile(file, os.O_RDWR|os.O_CREATE, 0666)
	files, _ := ioutil.ReadAll(f)
	var ss = strings.Split(string(files), "\n")
	for i := 1; i < len(ss)-1; i++ {
		text += ss[i] + "\n"
	}
	defer f.Close()
	ioutil.WriteFile(file, []byte(text), 0666)
	fmt.Print("\n\n删除该地址 => " + ss[0])
}

附代码实例：https://download.csdn.net/download/superwebmaster/10415730

台州网站开发_台州博格科技

石石石头哥哥

关注

6
点赞
踩
10

收藏

觉得还不错? 一键收藏
打赏
8
评论
Golang原生爬虫简单爬虫实现不依赖第三方包库方便理解技术原理（二）

上一篇回顾：Golang原生爬虫简单爬虫实现不依赖第三方包库方便理解技术原理（一）程序首次执行成功后，我们已经成功获取了源页面所提供的链接地址。下面我们自然要做的就是通过计时器来爬抓链接列表里的地址。下一步就是要通过地址列表里的地址逐一爬抓，去掉已经爬抓过的练级，并记录新的有效链接到地址列表里。再看一下我们的main函数：func main() { if ch...
复制链接

扫一扫