Go分布式爬虫学习笔记(十二)_golang 分布式爬虫

最新推荐文章于 2024-09-24 15:11:45 发布
最新推荐文章于 2024-09-24 15:11:45 发布
阅读量797 收藏 27
点赞数 7
文章标签： golang 分布式 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_87299595/article/details/142430844
版权
  • strconv提供类型转化的函数
// 字符串转换为十进制整数
func Atoi(s string) (int, error)
// 字符串转换为某一进制的整数，例如八进制、十六进制
func ParseInt(s string, base int, bitSize int) (i int64, err error)
// 整数转换为字符串
func Itoa(i int) string
// 某一进制的整数转换为字符串，例如八进制整数转换为字符串
func FormatInt(i int64, base int) string

字符编码

  • 在 Go 语言中，字符串是默认通过 UTF-8 的形式编码的。
  • 目前大多数网站都使用 UTF-8 编码，但其实服务器发送过来的 HTML 文本可能拥有很多编码形式。一些国内的网站就会采用 GB2312 的编码方式。
  • 要实现编码的通用性，我们使用官方处理字符集的库：
go get golang.org/x/net/html/charset
go get golang.org/x/text/encoding

封装编码和获取网页内容

package main

import (
	"bufio"
	"fmt"
	"github.com/funbinary/go\_example/pkg/errors"
	"golang.org/x/net/html/charset"
	"golang.org/x/text/encoding"
	"golang.org/x/text/encoding/unicode"
	"golang.org/x/text/transform"
	"io"
	"net/http"
)

func main() {
	//url := "https://www.thepaper.cn/"
	url := "https://www.chinanews.com.cn/"
	body, err := Fetch(url)

	if err != nil {
		fmt.Println("read content failed:%v", err)
		return
	}

	fmt.Println(string(body))
}

func Fetch(url string) ([]byte, error) {
	var e encoding.Encoding
	resp, err := http.Get(url)

	if err != nil {
		return nil, errors.Wrap(err, "fetch url error")
	}

	defer resp.Body.Close()

	if resp.StatusCode != http.StatusOK {
		return nil, errors.Errorf("Error status code:%v", resp.StatusCode)
	}

	r := bufio.NewReader(resp.Body)
	e, err = DeterminEncoding(r)
	utf8r := transform.NewReader(r, e.NewDecoder())
	return io.ReadAll(utf8r)
}

func DeterminEncoding(r \*bufio.Reader) (encoding.Encoding, error) {
	bytes, err := r.Peek(1024)
	if err != nil {
		return unicode.UTF8, err
	}

	e, \_, \_ := charset.DetermineEncoding(bytes, "")
	return e, nil
}

‍

正则表达式

正则表达式是一种描述文本内容组成规律的表示方式，它可以描述或者匹配符合相应规则的字符串。

用途

  • 校验数据的有效性
  • 搜索
  • 替换特定模式的字符串

标准

  • POSIX

    • BRE
    • ERE
    • Linux 和 Mac 在原生集成 GNU 套件（例如 grep 命令）时，遵循了 POSIX 标准，并弱化了 GNU BRE 和 GNU ERE 之间的区别。
    • GNU BRE 和 GNU ERE 的差别主要体现在一些语法字符是否需要转义上
    # BRE
> echo  "addf" | grep  'd\{1,3\}'
# ERE 需要使用-E参数
> echo  "addf" | grep -E 'd{1,3}'

  • PCRE

    • perl演进
    • 大部分高级语言,包括Go使用
    • grep要使用 -P
    # 使用 ERE 标准
> echo  "11d23a" | grep -E '[[:digit:]]+' 

# 使用 PCRE 标准
> echo  "11d23a" | grep -P '\d+'

获取推荐页面标题

​[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aKEIRy1k-1679758861177)(https://assets.b3logfile.com/siyuan/1658627274984/assets/image-20230325230448-leqouxs.png)]​​

​image​

package main

import (
	"bufio"
	"fmt"
	"github.com/funbinary/go\_example/pkg/errors"
	"golang.org/x/net/html/charset"
	"golang.org/x/text/encoding"
	"golang.org/x/text/encoding/unicode"
	"golang.org/x/text/transform"
	"io"
	"net/http"
	"regexp"
)

// var headerRe = regexp.MustCompile(`<div class="news\_li"[\s\S]\*?<h2>[\s\S]\*?<a.\*?target="\_blank">([\s\S]\*?)</a>`)
var headerRe = regexp.MustCompile(`<div class="small\_cardcontent\_\_BTALp"[\s\S]\*?<h2>([\s\S]\*?)</h2>`)

func main() {
	url := "https://www.thepaper.cn/"
	body, err := Fetch(url)

	if err != nil {
		fmt.Println("read content failed:%v", err)
		return
	}
	matches := headerRe.FindAllSubmatch(body, -1)
	for \_, m := range matches {
		fmt.Println("fetch card news:", string(m[1]))
	}
}

func Fetch(url string) ([]byte, error) {
	var e encoding.Encoding
	resp, err := http.Get(url)

	if err != nil {
		return nil, errors.Wrap(err, "fetch url error")
	}

	defer resp.Body.Close()

	if resp.StatusCode != http.StatusOK {
		return nil, errors.Errorf("Error status code:%v", resp.StatusCode)
	}

	r := bufio.NewReader(resp.Body)
	e, err = DeterminEncoding(r)
	utf8r := transform.NewReader(r, e.NewDecoder())
	return io.ReadAll(utf8r)
}

func DeterminEncoding(r \*bufio.Reader) (encoding.Encoding, error) {
	bytes, err := r.Peek(1024)
	if err != nil {
		return unicode.UTF8, err
	}

	e, \_, \_ := charset.DetermineEncoding(bytes, "")
	return e, nil
}

Xpath

XPath 定义了一种遍历 XML 文档中节点层次结构，并返回匹配元素的灵活方法。而 XML 是一种可扩展标记语言，是表示结构化信息的一种规范。例如，微软办公软件 Words 在 2007 之后的版本的底层数据就是通过 XML 文件描述的。HTML 虽然不是严格意义的 XML，但是它的结构和 XML 类似。

R: htmlquery xpath语法

获取推荐页面标题

package main

import (
	"bufio"
	"bytes"
	"fmt"
	"github.com/antchfx/htmlquery"
	"github.com/funbinary/go\_example/pkg/errors"
	"golang.org/x/net/html/charset"
	"golang.org/x/text/encoding"
	"golang.org/x/text/encoding/unicode"
	"golang.org/x/text/transform"
	"io"
	"net/http"
)

// xpath
func main() {
	url := "https://www.thepaper.cn/"
	body, err := Fetch(url)

	if err != nil {
		fmt.Println("read content failed:%v", err)
		return
	}
	doc, err := htmlquery.Parse(bytes.NewBuffer(body))
	if err != nil {
		fmt.Println("htmlquery.Parse failed:%v", err)
	}
	nodes := htmlquery.Find(doc, `//div[@class="small\_cardcontent\_\_BTALp"]//h2`)
	for \_, node := range nodes {
		fmt.Println("fetch card news:", node.FirstChild.Data)
	}
}

func Fetch(url string) ([]byte, error) {
	var e encoding.Encoding
	resp, err := http.Get(url)

	if err != nil {
		return nil, errors.Wrap(err, "fetch url error")
	}

	defer resp.Body.Close()

	if resp.StatusCode != http.StatusOK {
		return nil, errors.Errorf("Error status code:%v", resp.StatusCode)
	}

	r := bufio.NewReader(resp.Body)
	e, err = DeterminEncoding(r)
	utf8r := transform.NewReader(r, e.NewDecoder())
	return io.ReadAll(utf8r)
}

func DeterminEncoding(r \*bufio.Reader) (encoding.Encoding, error) {
	bytes, err := r.Peek(1024)
	if err != nil {
		return unicode.UTF8, err
	}

	e, \_, \_ := charset.DetermineEncoding(bytes, "")
	return e, nil
}

CSS选择器

CSS（层叠式样式表）是一种定义 HTML 文档中元素样式的语言。在 CSS 文件中，我们可以定义一个或多个 HTML 中的标签的路径，并指定这些标签的样式。在 CSS 中，定义标签路径的方法被称为 CSS 选择器。

CSS 选择器考虑到了我们在搜索 HTML 文档时常用的属性。我们前面在 XPath 例子的中使用的 div[@class=“news_li”]，在 CSS 选择器中可以简单地表示为 div.news_li。这是一种更加简单的表示方法。

R: CSS 选择器的语法 goquery

package main

import (
	"bufio"
	"bytes"
	"fmt"
	"github.com/PuerkitoBio/goquery"
	"github.com/funbinary/go\_example/pkg/errors"
	"golang.org/x/net/html/charset"
	"golang.org/x/text/encoding"
	"golang.org/x/text/encoding/unicode"
	"golang.org/x/text/transform"
	"io"
	"net/http"
)

// xpath
func main() {
	url := "https://www.thepaper.cn/"
	body, err := Fetch(url)

	if err != nil {
		fmt.Println("read content failed:%v", err)
		return
	}
	doc, err := goquery.NewDocumentFromReader(bytes.NewBuffer(body))
	if err != nil {
		fmt.Println("htmlquery.Parse failed:%v", err)
	}
	doc.Find("div.small\_cardcontent\_\_BTALp h2").Each(func(i int, selection \*goquery.Selection) {
		title := selection.Text()
		fmt.Println("fetch card:", i, " ", title)
	})

}

func Fetch(url string) ([]byte, error) {
	var e encoding.Encoding
	resp, err := http.Get(url)

	if err != nil {
		return nil, errors.Wrap(err, "fetch url error")
	}

	defer resp.Body.Close()

	if resp.StatusCode != http.StatusOK {
		return nil, errors.Errorf("Error status code:%v", resp.StatusCode)
	}

	r := bufio.NewReader(resp.Body)
	e, err = DeterminEncoding(r)
	utf8r := transform.NewReader(r, e.NewDecoder())
	return io.ReadAll(utf8r)
}

func DeterminEncoding(r \*bufio.Reader) (encoding.Encoding, error) {
	bytes, err := r.Peek(1024)
	if err != nil {
		return unicode.UTF8, err
	}

	e, \_, \_ := charset.DetermineEncoding(bytes, "")
	return e, nil
}

思考题

在类似如下的日志文件中，包含了很多订单号的信息，即 order_id 后面的一串数字。我们可以用什么方式，将 order_id 后面的订单 ID 都像下面这样打印出来？（提示：用 grep 就可以做到）

2022-11-22  name=versionReport||order_id=3732978217343693673||trace_id=XXX
2022-11-22  name=versionReport||order_id=3732978217343693674||trace_id=XXX


grep -oP 'order_id=\d+'|grep -oP '\d+'
grep -oE 'order_id=\d+' | grep -oE '\d+'
2401_87299595
关注
Go分布式爬虫学习笔记(十四)_golang分布式爬虫
2401_87299614的博客
09-22 810
children map[canceler]struct{} //保存了当前 Context 派生的子 Context 的信息。next.ServeHTTP(w, r) // 没有授权。Context //保留了父 Context 的信息。fmt.Println(“退出协程”)// HTTP请求实际处理函数。// 协程是否需要退出。
Go分布式爬虫笔记（六）_golang分布式爬虫架构
2401_86963252的博客
09-11 1110
例如，核心服务比较依赖 Redis，那么我们就可以借助一些第三方库自动检测一段时间内 Redis 的错误率与超时率，一旦超过一定的阈值，就不再访问原来的 Redis，而是将数据降级到内存、文件或者是另一个临时的缓存组件中。如下图左侧是服务调用链构成的一个有向无环图，有些分布式追踪组件可以通过瀑布图的形式显示出在调用链中每个 span 的耗时，如下图右侧看到的，这种可视化的手段能直观地反应调用链的耗时情况。一些做得好的告警信息还会推荐止损办法，例如服务降级的手段，或者是下游负责人的联系方式等。
Go分布式爬虫笔记（六）_golang分布式爬虫架构(1)
2401_86963203的博客
09-11 1054
如下图左侧是服务调用链构成的一个有向无环图，有些分布式追踪组件可以通过瀑布图的形式显示出在调用链中每个 span 的耗时，如下图右侧看到的，这种可视化的手段能直观地反应调用链的耗时情况。例如对于一个打车服务，通常我们要模拟乘客与司机的行为，完整走一遍从乘客预估、司机接单、开始计费、行程中、结束计费等多个流程，并验证每个环节中的交互和数据准确性。相对于只提供一个特殊的用于标识指定请求的 traceID，分布式追踪的方案提供了更多的链路信息，更直观的调用关系，甚至链路的可视化。
Go分布式爬虫笔记(二十一)_golang分布式爬虫架构
2401_86984695的博客
09-07 1415
不过，Go 语言并不会每增加一个元素就扩容一次，这是因为扩容常会涉及到内存的分配，频繁扩容会减慢 append 的速度。和 C 语言中的数组是一个指针不同，Go 中的切片是一个复合结构。我们看下面的例子，bar 执行了 append 函数之后，最终也修改了 foo 的最后一个元素，这是一个在实践中非常常见的陷阱。例如之前提到的案例，bar 截取了 foo 切片中间的元素，并修改了 bar 中的第 2 号元素。这时，bar 的 cap 容量会到原始切片的末尾，所以当前 bar 的 cap 长度为 4。
Go分布式爬虫笔记（五）_golang分布式爬虫架构
2401_86963185的博客
09-11 1163
​​。
2024年Go最新Go分布式爬虫学习笔记(十二)_golang 分布式爬虫，Golang常见面试题及答案
2401_84911020的博客
05-11 559
(img-sbR9chNB-1715381545084)](img-BHf0FIXq-1715381545084)]// 将字符串s 以sep 为分隔符进行分割，分割后字符末尾去掉sep。// 将字符串s 以满足f®==true 的字符分割，返回一个切片。// 某一进制的整数转换为字符串，例如八进制整数转换为字符串。// 判断字符串s 是否包含chars 字符串中的任一字符。// 判断字符串s 是否包含substr 字符串。// 将字符串s 以空白字符分割，返回一个切片。// 整数转换为字符串。
Go分布式爬虫学习笔记(十二)
成长之路
03-25 862
例如，微软办公软件 Words 在 2007 之后的版本的底层数据就是通过 XML 文件描述的。我们前面在 XPath 例子的中使用的 div[@class=“news_li”]，在 CSS 选择器中可以简单地表示为 div.news_li。这是一种更加简单的表示方法。在 CSS 文件中，我们可以定义一个或多个 HTML 中的标签的路径，并指定这些标签的样式。在类似如下的日志文件中，包含了很多订单号的信息，即 order_id 后面的一串数字。在 Go 语言中，字符串是默认通过 UTF-8 的形式编码的。
Go最全Go分布式爬虫学习笔记(十二)_golang 分布式爬虫(1)，2024年最新非科班面试之旅
2401_84905039的博客
05-16 292
‍。
Go最新Go分布式爬虫学习笔记(十四)_golang分布式爬虫，2024年最新Golang开发6年了
2401_84911322的博客
05-12 285
children map[canceler]struct{} //保存了当前 Context 派生的子 Context 的信息。Context //保留了父 Context 的信息。// HTTP请求实际处理函数。// 协程是否需要退出。
精品--Google资深工程师深度讲解Go语言 学习笔记.zip
02-05
Go语言，又称Golang，是由Google开发的一种静态类型的、编译型的、并发型且具有垃圾回收功能的编程语言。本学习笔记由Google资深工程师深度讲解，旨在帮助开发者全面掌握Go语言的核心概念、语法特性以及实战技巧。...
Go分布式爬虫学习笔记(十五)_httputil reverseproxy read error during body copy(1)
m0_60607895的博客
05-05 1014
现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。分享给大家这份我薅到的免费视频资料，质量还不错，大家可以跟着学习代理服务器需要根据情况对 hop-by-hop 请求头做一些特殊处理，并在发送给目标服务器之前删除 hop-by-hop 请求头。
2024年最新Go分布式爬虫笔记(十七) 4月Day1_go 本地线程变量
2401_84557161的博客
05-02 670
我们知道，Go 语言比较容易开发高并发的程序，这得益于 Go 语言在线程之上创建了更轻量级的协程 G。相比于线程，协程在时间和空间上都有明显的优势。同时，Go 运行时抽象出了逻辑处理器 P 和代表线程的 M，P 与 M 一一绑定。借助 M 中特殊的协程 g0，Go 运行时能够完成对于协程公平并且高效的调度。协程一般是被动调度的，当它陷入堵塞后，会主动让渡自己的执行权利，这和操作系统通常强制执行线程的上下文有所不同。
使用Spring Boot构建稳定可靠的分布式爬虫系统_spring cloud 反爬虫技术
2401_84264583的博客
04-13 1610
通过以上步骤，我们可以设计一个分布式任务调度系统，实现任务的分配和调度。任务调度器可以根据预设的调度策略，将任务分配给空闲的爬虫节点执行。通过使用分布式任务队列，实现任务的发布和订阅。通过监控和管理工具，实时监控任务的执行情况，并进行相应的故障处理和调优。最后，通过弹性扩展，提高系统的处理能力和吞吐量。
【Go语言】深入解读Go语言中的指针，助你拨开迷雾见月明
最新发布
景天科技苑
09-24 3770
在Go语言中，指针是一种特殊的变量类型，它用于存储变量的内存地址。通过指针，程序可以直接访问和修改变量的值，这在处理大型数据结构、优化内存使用和提高程序性能时非常有用。本文将结合具体案例，详细讲解Go语言中指针的用法，包括定义指针、使用指针访问和修改变量值、指针作为函数参数和返回值、指针数组和切片、结构体指针、空指针检查等。
go语言Map详解
gopher9511的博客
09-20 952
Go语言中提供的映射关系容器为map，其内部使用散列表（hash）实现map是一种无序的基于key-value的数据结构，Go语言中的map是引用类型，必须初始化才能使用。它提供了高效的查找、插入和删除操作，非常适合用于构建关联数组或字典。
[译] Go语言的源起，发展和未来
techdashen的博客
09-20 1592
本篇内容是根据2019年9月份Creating the Go programming language音频录制内容的整理与翻译, 两位主持人与Go 的创始人 Rob Pike 和 Robert Griesemer谈论了 Go 的起源、发展、影响和未来。这是一个史诗般的剧集，深入探讨了 Go 的历史和详细信息，以及他们在创建这种出色的编程语言的过程中所做的选择。 访谈中有不少可能不为人知的小八卦: 例如new和make的初衷,Rsc其实是个"工程师二代"等. 一向金句频出的Rob Pike,还谈了对P
go解决引入私有包报错“Repository owner does not exist“的两种方式
qq_42750608的博客
09-23 536
go解决引入私有包报错"Repository owner does not exist"的两种方式
go 反射
gopher9511的博客
09-21 1003
用于检查接口、切片、映射、指针和通道等是否为 nil。只在引用语义类型上有效。用于检查反射值是否有效。适用于所有类型，检查是否由合理的 reflect.ValueOf() 生成。在Go语言项目中，反射可以在特定情况下提供灵活性和简洁性。以下是一些，适合使用反射：1. 序列化和反序列化反射广泛用于实现数据的序列化和反序列化，比如将结构体转换为 JSON 或从 JSON 转换为结构体。通过反射，可以遍历结构体的字段并动态处理它们。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值