Go语言爬虫：爬虫入门

原创 已于 2025-09-15 15:13:28 修改 · 1.3k 阅读 · 20 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#爬虫 #golang #数据库 #后端 #go

于 2025-09-15 15:09:47 首次发布

这篇文章我们首先用go语言爬虫，获取豆瓣top250的电影的信息，并且存到数据库。

文章的内容主要分成四个部分：发送请求，解析网页，获取节点信息，保存信息。

准备工作：我们需要熟悉go语言的http请求，安装goquery驱动解析网站返回的doc树。

一、构造http请求

要知道我们通过代码访问官网，我们就相当于是客户端所以需要创建客户端，

    //发送请求
	client := http.Client{}

 本次爬虫操作本质上就是一个http请求，所以我们在构造http请求之前需要先到豆瓣top250电影网站，打开F12查看网站的url，请求方法，请求头等内容。

为什么需要请求头呢？不是有url和请求方法就可以访问到内容了吗，许多网站都不让爬虫，请求头是为了模仿浏览器的行为，可以正常爬虫，下面是网站的url路径，请求方法，请求头等信息。

不过要注意//req.Header.Set("Accept-Encoding", "gzip, deflate, br, zstd")，这行代码不能加上，这代表客户端可以接受压缩过的内容，如果加上我们就不能获取页面的正常内容了。

    req, err := http.NewRequest("GET", "https://movie.douban.com/top250?start="+page, nil)
    //设置请求头（Headers）
	req.Header.Set("Connection", "keep-alive")
	req.Header.Set("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7")
	//req.Header.Set("Accept-Encoding", "gzip, deflate, br, zstd")
	req.Header.Set("Accept-Language", "zh-CN,zh;q=0.9")
	req.Header.Set("Cache-Control", "no-cache")
	req.Header.Set("Pragma", "no-cache")
	req.Header.Set("Priority", "u=0, i")
	req.Header.Set("Referer", "https://movie.douban.com/chart")
	req.Header.Set("Content-Type", "application/x-www-form-urlencoded")
	req.Header.Set("Upgrade-Insecure-Requests", "1")
	req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36")

使用客户端的Do方法，向网站发送请求。

resp, err := client.Do(req)
	if err != nil {
		fmt.Println("发送请求失败:", err)
		return
	}

二、解析网页内容

我们解析网页内容需要导入goquery包

"github.com/PuerkitoBio/goquery"

client.Do函数返回的结构体resp中，包含Body这个io.Reader类型的读取流类型，并且页面返回的是doc树，所以我们需要goquery包中解析流的函数。

doc, err := goquery.NewDocumentFromReader(resp.Body)

三、获取信息节点

返回的doc对象是一个前端的doc树，而我们有用的信息只在某个固定的结点中，其余的信息我们都不需要，所以需要css选择器来获取需要的结点。

goquery里面有Find方法可以通过css选择器获取我们需要的结点，有些结点包含的子节点有多个，此时就需要遍历，goquery里面有Each方法可以遍历这些子节点。

我们爬取的电影有250个，所以一定是在某个包含许多子节点的结点上，大致思路是这样我们通过Find获取到这个结点，再通过Each遍历这个结点的所有子节点。

如下图，所有的电影都被包含在并列的li里面，所以先用Find再用Each的思路是对的，现在怎么通过css选择到这个li呢，右键li这个结点，点击复制，点击复制selector，就可以获取这个结点的css路径了。

这个代码有两点需要注意：

1.Each函数的参数，第二个参数selection代表当前遍历的结点

2.Text（）返回当前结点的内容，是string类型

3.split（），info返回的内容是一个字符串包含许多信息，split就是通过正则表达式把信息拆开。

_ = doc.Find("#content > div > div.article > ol > li").
		Each(func(i int, selection *goquery.Selection) {
			title := selection.Find("div > div.info > div.hd > a > span:nth-child(1)").Text()
			img, ok := selection.Find("div > div.pic > a > img").Attr("src")
			card := selection.Find("div > div.info > div.bd ")
			info := card.Find("p:nth-child(1)").Text()
			year, actor, dir := split(info)
			score := card.Find("div > span:nth-child(2)").Text()
			people := card.Find("div > span:nth-child(4)").Text()
			quote := card.Find("p.quote > span").Text()
		})

拆分的正则表达式需要根据内容来设定。

导演: 弗兰克·德拉邦特 Frank Darabont   主演: 蒂姆·罗宾斯 Tim Robbins /...
1994 / 美国 / 犯罪 剧情

下面这个是split（）函数使用正则表达式拆分信息的具体代码。

func split(info string) (year string, director string, actor string) {
	// 提取年份：使用括号捕获4个数字
	yearRe := regexp.MustCompile(`\b(\d{4})\b`)
	yearMatch := yearRe.FindStringSubmatch(info)
	if len(yearMatch) > 1 {
		year = yearMatch[1]
	}

	// 提取导演：捕获 "导演: " 和 "主演: " 之间的文本
	directorRe := regexp.MustCompile(`导演:([^主]*)主演:`)
	directorMatch := directorRe.FindStringSubmatch(info)
	if len(directorMatch) > 1 {
		director = directorMatch[1]
	}

	// 提取演员：捕获 "主演: " 之后的所有文本
	actorRe := regexp.MustCompile(`主演:(.*)`)
	actorMatch := actorRe.FindStringSubmatch(info)
	if len(actorMatch) > 1 {
		actor = actorMatch[1]
	}

	// 去除捕获到的字符串首尾的空格
	director = strings.TrimSpace(director)
	actor = strings.TrimSpace(actor)

	return
}

四、保存数据

我们把收集到的这些变量看作为结构体的字段，并且把结构体对象存入数据库。

初始化并连接数据库，这里我们使用gorm的AutoMigrate函数，创建数据库表。

const (
	USERNAME = "root"
	PASSWORD = "123456"
	HOST     = "127.0.0.1"
	DBNAME   = "douban_movie"
)


func Init() (DB *gorm.DB, err error) {
	dns := USERNAME + ":" + PASSWORD + "@tcp(" + HOST + ")/" + DBNAME + "?charset=utf8mb4&parseTime=True&loc=Local"
	db, err := gorm.Open(mysql.Open(dns), &gorm.Config{})
	if err != nil {
		log.Fatalf("连接失败:%v", err)
	}
	if err := db.AutoMigrate(&Movie{}); err != nil {
		log.Fatalf("连接失败:%v", err)
	}
	log.Println("表" + DBNAME + "创建成功")
	return db, nil
}

创建电影结构体，存储相关的信息。

type Movie struct {
	Title    string `json:"title"`
	Img      string `json:"img"`
	Year     string `json:"year"`
	Actor    string `json:"actor"`
	Director string `json:"director"`
	Score    string `json:"score"`
	People   string `json:"people"`
	Quote    string `json:"quote"`
}

创建把数据插入数据库的函数。

func InsertData(movie Movie) bool {
	if err := DB.Create(&movie).Error; err != nil {
		return false
	}
	return true
}

在获取节点的代码中添加存储消息到数据库的代码。

_ = doc.Find("#content > div > div.article > ol > li").
		Each(func(i int, selection *goquery.Selection) {
			title := selection.Find("div > div.info > div.hd > a > span:nth-child(1)").Text()
			img, ok := selection.Find("div > div.pic > a > img").Attr("src")
			card := selection.Find("div > div.info > div.bd ")
			info := card.Find("p:nth-child(1)").Text()
			year, actor, dir := split(info)
			score := card.Find("div > span:nth-child(2)").Text()
			people := card.Find("div > span:nth-child(4)").Text()
			quote := card.Find("p.quote > span").Text()
			if ok {
				movie := Movie{
					Title:    title,
					Img:      img,
					Year:     year,
					Actor:    actor,
					Director: dir,
					Score:    score,
					People:   people,
					Quote:    quote,
				}
				if InsertData(movie) {
					fmt.Println("插入成功")
				}
			}
		})

五、完整代码

package main

import (
	"fmt"
	"github.com/PuerkitoBio/goquery"
	"gorm.io/driver/mysql"
	"gorm.io/gorm"
	"log"
	"net/http"
	"regexp"
	"strconv"
	"strings"
)

const (
	USERNAME = "root"
	PASSWORD = "123456"
	HOST     = "127.0.0.1"
	DBNAME   = "douban_movie"
)

type Movie struct {
	Title    string `json:"title"`
	Img      string `json:"img"`
	Year     string `json:"year"`
	Actor    string `json:"actor"`
	Director string `json:"director"`
	Score    string `json:"score"`
	People   string `json:"people"`
	Quote    string `json:"quote"`
}

var DB *gorm.DB

func main() {
	DB, _ = Init()
	for i := 0; i < 10; i++ {
		Spider(strconv.Itoa(i * 25))
	}
}

func Spider(page string) {
	//发送请求
	client := http.Client{}
	req, err := http.NewRequest("GET", "https://movie.douban.com/top250?start="+page, nil)
	if err != nil {
		fmt.Println("创建http请求:", err)
		return
	}
	//设置请求头（Headers）
	req.Header.Set("Connection", "keep-alive")
	req.Header.Set("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7")
	//req.Header.Set("Accept-Encoding", "gzip, deflate, br, zstd")
	req.Header.Set("Accept-Language", "zh-CN,zh;q=0.9")
	req.Header.Set("Cache-Control", "no-cache")
	req.Header.Set("Pragma", "no-cache")
	req.Header.Set("Priority", "u=0, i")
	req.Header.Set("Referer", "https://movie.douban.com/chart")
	req.Header.Set("Content-Type", "application/x-www-form-urlencoded")
	req.Header.Set("Upgrade-Insecure-Requests", "1")
	req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36")

	resp, err := client.Do(req)
	if err != nil {
		fmt.Println("发送请求失败:", err)
		return
	}
	doc, err := goquery.NewDocumentFromReader(resp.Body)
	if err != nil {
		fmt.Println("获取doc树失败")
		return
	}
	_ = doc.Find("#content > div > div.article > ol > li").
		Each(func(i int, selection *goquery.Selection) {
			title := selection.Find("div > div.info > div.hd > a > span:nth-child(1)").Text()
			img, ok := selection.Find("div > div.pic > a > img").Attr("src")
			card := selection.Find("div > div.info > div.bd ")
			info := card.Find("p:nth-child(1)").Text()
			year, actor, dir := split(info)
			score := card.Find("div > span:nth-child(2)").Text()
			people := card.Find("div > span:nth-child(4)").Text()
			quote := card.Find("p.quote > span").Text()
			if ok {
				movie := Movie{
					Title:    title,
					Img:      img,
					Year:     year,
					Actor:    actor,
					Director: dir,
					Score:    score,
					People:   people,
					Quote:    quote,
				}
				if InsertData(movie) {
					fmt.Println("插入成功")
				}
			}
		})

}

func split(info string) (year string, director string, actor string) {
	// 提取年份：使用括号捕获4个数字
	yearRe := regexp.MustCompile(`\b(\d{4})\b`)
	yearMatch := yearRe.FindStringSubmatch(info)
	if len(yearMatch) > 1 {
		year = yearMatch[1]
	}

	// 提取导演：捕获 "导演: " 和 "主演: " 之间的文本
	directorRe := regexp.MustCompile(`导演:([^主]*)主演:`)
	directorMatch := directorRe.FindStringSubmatch(info)
	if len(directorMatch) > 1 {
		director = directorMatch[1]
	}

	// 提取演员：捕获 "主演: " 之后的所有文本
	actorRe := regexp.MustCompile(`主演:(.*)`)
	actorMatch := actorRe.FindStringSubmatch(info)
	if len(actorMatch) > 1 {
		actor = actorMatch[1]
	}

	// 去除捕获到的字符串首尾的空格
	director = strings.TrimSpace(director)
	actor = strings.TrimSpace(actor)

	return
}

func Init() (DB *gorm.DB, err error) {
	dns := USERNAME + ":" + PASSWORD + "@tcp(" + HOST + ")/" + DBNAME + "?charset=utf8mb4&parseTime=True&loc=Local"
	db, err := gorm.Open(mysql.Open(dns), &gorm.Config{})
	if err != nil {
		log.Fatalf("连接失败:%v", err)
	}
	if err := db.AutoMigrate(&Movie{}); err != nil {
		log.Fatalf("连接失败:%v", err)
	}
	log.Println("表" + DBNAME + "创建成功")
	return db, nil
}

func InsertData(movie Movie) bool {
	if err := DB.Create(&movie).Error; err != nil {
		return false
	}
	return true
}

 下面是数据库的运行结果

希望这篇文章对你的爬虫学习有帮助！

Go语言——爬虫入门1
z6y6t的博客
08-01 794
学习Go语言的第一个爬虫代码 1.第一个爬虫代码 package main import ( "fmt" "io/ioutil" "net/http" ) func main() { //res 为结构体，储存了很多的信息 resp,err := http.Get("https://studygolang.com/pkgdoc") if err!= nil{ fmt.Println(err) } defer resp.Body.Close() if resp.StatusCod
用Golang写一个简单的爬虫
月月的博客
06-14 3780
闲来无事写了一个比较简陋的爬虫，跟大家分享一下， 写的可能有点啰嗦，本来写的是文档，但是这里没办法上传文件，只能以这种方式给大家展示了，下面有很清晰的目录，也可以直接复制到文档中查看，方便目录指引。 《教程：使用go语言编写简单爬虫工具》 目录 在使用go之前首先了解什么是go： 8 安装go以及相关工具 8 2.1. 安装go运行环境： 8 2.2 安装git ： 13 2.3安装编译器VSC...
入门级Go语言爬虫开发教程：从零开始的爬虫实战
m0_48891301的博客
09-21 654
之后，我们就可以使用类似于jQuery的语法来操作我们的Document对象，获取页面上的元素信息了。接下来，我们需要解析HTML源码，提取出我们需要的信息。这里，我将使用goquery这个第三方包，在获取HTML源码后，解析响应体中的HTML，并提取页面上的标题和链接。只要我们遵守相关法律法规，严格按照爬虫的道德规范进行操作，我们就可以在爬虫的世界里获取到更加丰富的信息了。可以看到，我们使用了http包提供的Get()来获取对应网站的HTML源码，并对响应体进行了简单的处理。
【Go语言爬虫系列01】爬虫入门与Colly框架基础
GopherTribe的博客
03-25 3504
本文是Go语言爬虫系列的开篇之作，从爬虫基础概念讲起，介绍爬虫的工作原理、法律边界，重点讲解Colly框架的安装和使用，通过一个实用的新闻爬取示例，带你快速掌握Go爬虫开发的基本技能。
如何利用 Go 语言进行爬虫开发？
Ob2024的博客
06-28 1345
Go 语言，又称 Golang，是由 Google 开发的一种高效、可靠、简单的编程语言。在上面的代码中，我们使用 goquery.NewDocument 函数获取 Hacker News 网站首页的 HTML 页面，然后使用选择器选择所有 class 为 title 的 a 标签，并遍历输出每个标签的内容和链接。Go 语言标准库中的 net/http 包提供了发送 HTTP 请求的工具，Go 语言也有专门的 HTML 解析库 goquery。因此，使用 Go 语言进行爬虫开发比较方便。
我的Go+语言初体验——用Go+写个爬虫并进行数据处理
面向生活编程
11-30 4359
“我的Go+语言初体验” | 征文活动进行中… 文章目录写在前面1. 找到blink2. 分析页面3. 编写代码3.1 发送请求3.2 解析数据3.3 数据处理3.4 输出所有的评论总结 写在前面 是这样的！我个人是Go语言爱好者，接触七牛是在大一的时候，这几天七牛云带着Go+来CSDN征文！那我就用Go+写一个爬虫吧！ 1. 找到blink CSDN呢，要切换成新版才能看到blink的！我本来是旧版的，就先切换一下新版。 我们就找到了 2. 分析页面 我们发现并没有相应的接口显示评论，所以我们点击更
使用Go语言进行网络爬虫开发：实例与技巧
AI天才研究院
02-03 1610
1.背景介绍 使用 Go 语言进行网络爬虫开发：实例与技巧 作者：禅与计算机程序设计艺术 1. 背景介绍 1.1 什么是网络爬虫？ 网络爬虫，又称网页爬虫(Web Crawler)，是一种自动化程序或脚本，它从互联网上搜集信息。通常情况下，网络爬虫会模拟普通用户访问网站，点击链接并获取HTML页面，然后解析HTML以提取感兴趣的数据。 1.2 为何选择 Go 语言？ Go 语言是一种...
Go语言爬虫实战（线程池）
JUIU9527的博客
03-29 1929
可以通过对网站的观察我们可以发现网站各个页面之间微小的变化，然后将需要爬取的网页存储在一个切片当中，之后重复第一步即可。通过观察Html文本中图片的地址，并写出对应的正则表达式，匹配所有符合的图片信息。保存正则表达式的匹配结果，并对其发起GET请求获取图片资源信息。在存储图片的时候，获取图片的后缀以及获取图片原名称来命名图片。细节：通过浏览器的开发者模式，可以更快找到图片的地址。对指定URL发去GET请求，获取对应的响应。通过返回的响应获取网站的Html文本内容。// HandleError 错误。
Go语言爬虫入门实战：珍爱网用户信息爬取案例
Go语言因其性能优良、并发处理能力强，非常适合用来编写网络爬虫。在本案例中，我们关注的是一个使用Go语言编写的单任务版爬虫——crawler-v1。以下知识点详细阐述了该爬虫的关键技术和实现细节。 ### Go语言基础 ...
Go语言与分布式爬虫：MAC协议解析及并发编程
虽然标题提到了“分布式爬虫”和无线传感网络的MAC协议，但提供的内容摘要实际上涵盖了Go语言的基础、CGO编程、汇编语言、RPC和Protobuf以及Web开发等主题，没有直接提及分布式爬虫或MAC协议的具体内容。 以下是各...
go语言实现的简单爬虫来爬取CSDN博文
12-22
如何实现一个爬虫系统或则简单的小脚本?一般是定义一个入口页面，然后一个页面会有其他页面的URL，于是从当前页面获取到这些URL加入到爬虫的抓取队列中，然后进入到新页面后再递归的进行上述的操作，其实说来就跟深度遍历或广度遍历一样。 golang由于其编译速度很快，而且对并发(goroutine)的天然支持,配合chan的协程处理,可以很好地实现一个稳定高效的爬虫系统.
Go-Pholcus幽灵蛛是一款纯Go语言编写的高并发分布式重量级爬虫软件
08-14
纯Go语言编写的高并发、分布式、重量级爬虫软件，支持单机、服务端、客户端三种运行模式，拥有Web、GUI、命令行三种操作界面；规则简单灵活、批量任务并发、输出方式丰富（mysql/mongodb/csv/excel等）、有大量Demo共享；
go语言单并发版爬虫--crawler-v1-v4
02-27
go语言单并发版爬虫--crawler-v1-v4 crawler-v1-v4 资源中包含一个完成的go语言并发...更多详细信息参考笔者博文: [golang笔记16--go语言并发版爬虫](https://blog.csdn.net/u011127242/article/details/114161224)
go语言单任务版爬虫--crawler-v1
02-26
crawler-v1 资源中包含一个完成的go语言...该案例非常适合作为go语言入门的练手案例； 更多详细信息参考笔者博文: [golang笔记15--go 语言单任务版爬虫](https://blog.csdn.net/u011127242/article/details/113853533)
Go语言爬虫系列教程：实战篇JS逆向实现CSDN文章导出
最新发布
Clown95
05-16 2151
本教程详细介绍了如何通过JS逆向工程实现CSDN文章导出功能。首先，文章解释了JS逆向的概念及其在现代网站API保护中的重要性。接着，教程逐步分析了CSDN的API请求机制，包括如何获取
如何使用Go语言进行爬虫开发
apiok的博客
07-15 284
随着互联网的快速发展，大量的数据被公开在网络上，这些数据对于许多开发者和研究人员来说都具有重要价值。而爬虫技术就是一种获取网络上数据的工具。本文将介绍如何使用go语言进行爬虫开发，同时提供一些代码示例。爬虫技术的核心是通过HTTP请求获取网页内容，并解析出需要的信息。接下来，我们将以一个简单的实例来介绍Go语言爬虫的开发过程。我们选择一个公开的天气预报网站作为目标，获取其中的天气信息。二、Go语言爬虫开发的准备工作。如何使用go语言进行爬虫开发。三、Go语言爬虫开发实例。
使用go开发的并发爬虫
hightower的博客
04-21 3044
前言 以前使用过python写过爬虫，python丰富的第三方库为我提供了很大的便利。那么对于go语言，它的优点就在于协程的使用，如果把协程的思想用于爬虫，实现并发，是不是更方便呢。 基本思路 1.初始化一个数据管道 2.爬虫写出：创建多个协程用于添加图片，我这里添加50个协程向管道中添加图片链接 3.任务统计协程：检查50个任务是否都完成，完成则关闭数据管道 4.下载协程：从管道里读取链接并下载 先来看看我们用到的标准库 ...
go语言实现简单爬虫
qq_43589698的博客
10-20 2863
go语言实现简单爬取网页案例 本次使用go语言简单实现爬取百度贴吧里面的绝地求生吧，只是利用了一个http.Get()方法即可轻易爬取相关网页代码 直接上代码： package main import ( "fmt" "io" "net/http" "os" "strconv" ) func httpGet(url string) (result string, err error) { resp, err1 := http.Get(url) if err1 != nil { err
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值