go实现爬取href链接

最新推荐文章于 2024-07-06 14:57:35 发布

潇洒走一回LW

最新推荐文章于 2024-07-06 14:57:35 发布

阅读量3.7k

点赞数

分类专栏： go

本文链接：https://blog.csdn.net/u011466175/article/details/47168369

版权

本文介绍了从最初使用正则表达式爬取链接的问题，转向使用goquery库来更精确地解析和获取HTML文档中的href链接，提高了爬虫的效率和准确性。

摘要由CSDN通过智能技术生成

刚开始爬取的时候是用正则表达式实现的，然后爬取了不必要的链接，现在改用goquery实现：

// judgeUrl project judgeUrl.go
package judgeUrl

import (
	"strings"
)

func IsUrl(str string) bool {
	if strings.HasPrefix(str, "#") || strings.HasPrefix(str, "//") || strings.HasSuffix(str, ".exe") || strings.HasSuffix(str, ":void(0);") {
		return false
	} else if strings.HasPrefix(str, "{") && strings.HasSuffix(str, "}") {
		return false
	} else if strings.EqualFold(str, "javascript:;") {
		return false
	} else {
		return true
	}
	return true
}

func SamePathUrl(preUrl string, url string, mark int) (newUrl string) {
	last := strings.LastIndex(preUrl, "/")
	if last == 6 {
		newUrl = preUrl + url
	} else {
		if mark == 1 {
			newUrl = preUrl[:last] + url
		} else {
			newPreUrl := preUrl[:last]
			newLast := strings.LastIndex(newPreUrl, "/"