简单go并发爬虫demo

最新推荐文章于 2022-10-01 22:06:39 发布
最新推荐文章于 2022-10-01 22:06:39 发布
阅读量1.0k 收藏 2
点赞数
分类专栏： go语言 爬虫 文章标签： 爬虫 go并发
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sgsgy5/article/details/82429534
版权

爬虫

爬虫简介：
是一个程序，用来获取指定网站数据信息。

  • 明确 url 。确定爬取对象
  • 发送请求。获取服务器响应数据。
  • 解析数据，提取有用数据内容。
  • 保存、分析数据结果。

今天我们用go并发来简单写一个小Demo来爬取一下豆瓣评分网站的数据

首先来思路分析一下该怎么做：

  1. 明确 url。找出url之间的一些小规律，比如豆瓣的url规律如下
https://movie.douban.com/top250?start=0&filter=         1

https://movie.douban.com/top250?start=25&filter=        2

https://movie.douban.com/top250?start=50&filter=        3

https://movie.douban.com/top250?start=75&filter=        4

之间的规律很好找

  1. 待提取字符特性：

  2. 提示用户指定爬取起始、终止页

  3. 封装 doWork 函数， 按起始、终止页面循环爬取网页数据

  4. 组织每个网页的 url。 下一页 = +25

  5. 封装函数 HttpGetDB（url）result，err { http.Get(url), resp.Body.Read(buf), n==0 break, result+= string(buf[:n}) }

    爬取网页的所有数据 通过result 返回给调用者。

  6. 解析、编译正则表达式 —— 提取 “电影名称”fileNames 传出的是[][]string ， 下标为【1】是不带匹配参考项。

  7. 解析、编译正则表达式 —— 提取 “评分”传出的是[][]string ， 下标为【1】是不带匹配参考项。

  8. 解析、编译正则表达式 —— 提取 “评价人数”传出的是[][]string ， 下标为【1】是不带匹配参考项。

  9. 封装函数，将上述内容写入文件。save2File（ [][]string）

  10. 创建并发go程 提取所有网页数据。

  11. 创建阻止主go程提取退出的 channel ， SpiderPageDB() 末尾处，写channel

  12. doWork 中，添加新 for ，读channel

代码实现：

首先可以封装一个函数来爬取多少页到多少页，并且每一页构造一个go程

func doWork(start, end int)  {
    page := make(chan int)

    // 循环创建多个goroutine，提高爬取效率
    for i:=start; i<=end; i++ {
        go SpiderPageDB(i, page)
    }
    // 循环读取 channel， 协调主、子go程调用顺序
    for i:=start; i<=end; i++ {
        fmt.Printf("第%d页爬取完成\n", <-page)
    }
}

获取每一页的数据函数

func HttpGetDB(url string) (result string, err error) {
    resp, err1 := http.Get(url)
    if err1 != nil {
        err = err1
        return
    }
    defer resp.Body.Close()
    buf := make([]byte, 4096)
    for {
        n, err2 := resp.Body.Read(buf)
        if n == 0 {
            break
        }
        if err2 != nil && err2 != io.EOF {
            err = err2
            return
        }
        result += string(buf[:n])
    }
    return
}

得到每一个数据然后分析数据解析数据

func SpiderPageDB(i int, page chan<- int)  {
    url := "https://movie.douban.com/top250?start=" + strconv.Itoa((i-1)*25) + "&filter="
    result, err := HttpGetDB(url)
    if err != nil {
        fmt.Println("HttpGetDB err:", err)
        return
    }
    // 编译、解析正则表达式 —— 电影名
    ret1 := regexp.MustCompile(`<img width="100" alt="(?s:(.*?))" src="` )
    // 提取有效信息
    fileNames := ret1.FindAllStringSubmatch(result, -1)

    // 编译、解析正则表达式 —— 分数
    pattern := `<span class="rating_num" property="v:average">(.*?)</span>`
    ret2 := regexp.MustCompile(pattern )
    // 提取有效信息
    fileScore := ret2.FindAllStringSubmatch(result, -1)
/*  for _, one := range fileScore {
        fmt.Println("fileName:", one[1])
    }*/
    // 编译、解析正则表达式 —— 评分人数
    ret3 := regexp.MustCompile(`<span>(\d*?)人评价</span>`)
    // 提取有效信息
    peopleNum := ret3.FindAllStringSubmatch(result, -1)

    // 写入到一个文件中
    save2file(i, fileNames, fileScore, peopleNum)

    page <- i   // 写入channel ，协调主go程与子go程调用顺序。
}

最后保存数据到文件中

func save2file(idx int, fileNames, fileScore, peopleNum [][]string)  {
    // 组织保存文件路径及名程
    path := "D:/ecec/第" + strconv.Itoa(idx) + "页.txt"

    f, err := os.Create(path)
    if err != nil {
        fmt.Println("Create err:", err)
        return
    }
    defer f.Close()
    // 获取 一个网页中的条目数 —— 25
    n := len(fileNames)

    // 写一行标题
    f.WriteString("电影名称" + "\t" + "评分" + "\t" + "评价人数" + "\n")

    // 依次按序写入电影相关条目。
    for i:=0; i<n; i++ {
        f.WriteString(fileNames[i][1] + "\t" + fileScore[i][1] + "\t" + peopleNum[i][1] + "\n")
    }
}

最后直接在main里面就可以调用

完整代码如下

package main

import (
    "fmt"
    "strconv"
    "net/http"
    "io"
    "regexp"
    "os"
)

func HttpGetDB(url string) (result string, err error) {
    resp, err1 := http.Get(url)
    if err1 != nil {
        err = err1
        return
    }
    defer resp.Body.Close()
    buf := make([]byte, 4096)
    for {
        n, err2 := resp.Body.Read(buf)
        if n == 0 {
            break
        }
        if err2 != nil && err2 != io.EOF {
            err = err2
            return
        }
        result += string(buf[:n])
    }
    return
}

func SpiderPageDB(i int, page chan<- int)  {
    url := "https://movie.douban.com/top250?start=" + strconv.Itoa((i-1)*25) + "&filter="
    result, err := HttpGetDB(url)
    if err != nil {
        fmt.Println("HttpGetDB err:", err)
        return
    }
    // 编译、解析正则表达式 —— 电影名
    ret1 := regexp.MustCompile(`<img width="100" alt="(?s:(.*?))" src="` )
    // 提取有效信息
    fileNames := ret1.FindAllStringSubmatch(result, -1)

    // 编译、解析正则表达式 —— 分数
    pattern := `<span class="rating_num" property="v:average">(.*?)</span>`
    ret2 := regexp.MustCompile(pattern )
    // 提取有效信息
    fileScore := ret2.FindAllStringSubmatch(result, -1)
/*  for _, one := range fileScore {
        fmt.Println("fileName:", one[1])
    }*/
    // 编译、解析正则表达式 —— 评分人数
    ret3 := regexp.MustCompile(`<span>(\d*?)人评价</span>`)
    // 提取有效信息
    peopleNum := ret3.FindAllStringSubmatch(result, -1)

    // 写入到一个文件中
    save2file(i, fileNames, fileScore, peopleNum)

    page <- i   // 写入channel ，协调主go程与子go程调用顺序。
}

func save2file(idx int, fileNames, fileScore, peopleNum [][]string)  {
    // 组织保存文件路径及名程
    path := "C:/exec/第" + strconv.Itoa(idx) + "页.txt"

    f, err := os.Create(path)
    if err != nil {
        fmt.Println("Create err:", err)
        return
    }
    defer f.Close()
    // 获取 一个网页中的条目数 —— 25
    n := len(fileNames)

    // 写一行标题
    f.WriteString("电影名称" + "\t" + "评分" + "\t" + "评价人数" + "\n")

    // 依次按序写入电影相关条目。
    for i:=0; i<n; i++ {
        f.WriteString(fileNames[i][1] + "\t" + fileScore[i][1] + "\t" + peopleNum[i][1] + "\n")
    }
}

func doWork(start, end int)  {
    page := make(chan int)

    // 循环创建多个goroutine，提高爬取效率
    for i:=start; i<=end; i++ {
        go SpiderPageDB(i, page)
    }
    // 循环读取 channel， 协调主、子go程调用顺序
    for i:=start; i<=end; i++ {
        fmt.Printf("第%d页爬取完成\n", <-page)
    }
}

func main()  {
    var start, end int
    fmt.Print("请输入爬取起始页面（>=1）:")
    fmt.Scan(&start)

    fmt.Print("请输入爬取终止页面（>=start）:")
    fmt.Scan(&end)

    doWork(start, end)
}
sgsgy5
关注
专栏目录
【Go语言实战】(8) Go语言并发爬虫
面向生活编程
12-12 4656
文章目录写在前面1. 单线程爬虫2. 多线程爬虫2.1 channel2.2 sync.WaitGroup3. 源码地址 写在前面 这篇文章主要让大家明白多线程爬虫，因为go语言实现并发是很容易的。 这次的服务端，是我们之前搭建的电子商城平台，所以我们不担心ip被封之类的问题。 而实际生产环境中，其实我们都是用python爬虫的。python实现多线程也很简单。 这次我们可以试试新玩法，试试go语言的并发爬虫。 主要是爬取第一页的商品，爬取十次，比较单线程和多线程的时间。 1. 单线程爬虫 定义一
基于golang的网络爬虫框架
foam的专栏
03-14 5783
这是一个用go语言实现的网络爬虫框架，本框架的核心在于可定制和可扩展，用户可以根据自己的需要定制各个模块，同时，也给出了一个实现demo供参考。Go语言的初学者也可以通过这个项目熟悉go语言的各种特性，尤其是并发编程。
go语言实现的简单爬虫来爬取CSDN博文
12-22
如何实现一个爬虫系统或则简单的小脚本?一般是定义一个入口页面，然后一个页面会有其他页面的URL，于是从当前页面获取到这些URL加入到爬虫的抓取队列中，然后进入到新页面后再递归的进行上述的操作，其实说来就跟深度遍历或广度遍历一样。 golang由于其编译速度很快，而且对并发(goroutine)的天然支持,配合chan的协程处理,可以很好地实现一个稳定高效的爬虫系统.
go 实战并发爬虫(捧腹网)
nostrud ipsum6
04-12 242
package main import ( "fmt" "strconv" "net/http" "regexp" "strings" "os" ) func main() { var start,end int fmt.Printf("请输入起始页( >= 1) :...
go 并发 demo
weixin_30517001的博客
01-27 183
两个进程执行两个goroutine // This sample program demonstrates how to create goroutines and // how the scheduler behaves. package main import ( "fmt" "runtime" "sync" ) // main is...
Go-并发小爬虫
羊羊吃草
09-26 940
package main import ( "fmt" "net/http" "io" "time" "strconv" "os" ) func HttpGet2(url string) (result string, err error) { resp, err1 := http.Get(url) if err1 != nil { err = err1 // 将封装...
go实现并发爬虫
tianlongtc的博客
04-29 1298
package main import ( "os" "fmt" "log" "net/http" "golang.org/x/net/html" ) func Extract(url string) ([]string, error) { resp, err := http.Get(url) if err != nil { return ...
Go-Pholcus幽灵蛛是一款纯Go语言编写的高并发分布式重量级爬虫软件
08-14
纯Go语言编写的高并发、分布式、重量级爬虫软件，支持单机、服务端、客户端三种运行模式，拥有Web、GUI、命令行三种操作界面；规则简单灵活、批量任务并发、输出方式丰富（mysql/mongodb/csv/excel等）、有大量Demo...
go语言实现的简单搜索引擎demo，使用了redis，colly，gin-gonic等技术
最新发布
06-19
首先，`Golang`，也称为Go语言，是Google开发的一种静态类型的编译型编程语言，以其简洁、高效和并发性而受到开发者喜爱。Go语言特别适合构建网络服务和高性能后台处理，因此它是构建搜索引擎后端的理想选择。 其次...
爬虫源代码
08-08
爬虫软件 (golang)] Pholcus（幽灵蛛）是一款纯Go语言编写的高并发、分布式、重量级爬虫软件，支持单机、服务端、客户端三种运行模式，拥有Web、GUI、命令行三种操作界面；规则简单灵活、批量任务并发、输出方式丰富...
go原生爬虫实现 简单爬虫实现代码实例
05-15
相关文章：https://blog.csdn.net/superwebmaster/article/details/80319502
golang语言爬虫 并发版爬虫源码
12-25
google资深工程师深度讲解Go语言的并发版的爬虫源码实现
Go语言demo
11-13
Go语言demo
Go语言web demo
05-26
希望对想要学习go的朋友们一点点帮助~~
pholcus:Pholcus幽灵蛛是一款Go语言编写的爬虫软件框架（含GUI界面），优雅的爬虫规则、可控的高并发、任意的批量任务、多种输出方式、大量Demo，并且考虑了支持分布式布局
06-01
pholcus Pholcus（幽灵蛛）是一款Go语言编写的爬虫软件框架（含GUI界面），优雅的爬虫规则、可控的高并发、任意的批量任务、多种输出方式、大量Demo，并且考虑了支持分布式布局。 安装幽灵蛛 go get github.com/henrylee2cn/pholcus
go语言并发版爬虫
m0_46606984的博客
10-01 573
之前单任务版爬虫的架构是：传入一个种子（request）给engine,engine将url传给fetch，fetch将从url获取到的内容传给parse，parse解析出request和item，再将request传给engine队列.具体如下图：并发版爬虫基于原来的单任务版爬虫，在耗时长的部分使用goroutine，通过channel来传送数据首先，我们可以看到fetch的输出就是parse的输入，可以把fetch，parse以及engine的一部分合并成一个worker。
go开发--网页爬虫demo
Macso_的博客
08-10 205
package main import ( "fmt" "net/http" "os" "strconv" ) func HttpGet(url string) (result string, err error) { resp, errl := http.Get(url) if errl != nil { err = errl return } defer resp.Body.Close() b...
Go设计并发Web爬虫
void
04-16 364
串行爬虫 首先用最简单的方法实现crawler，用串行的方式爬取页面： 在这里用广度优先搜索，将搜索到的页面放到一个队列中，每次再从队列中拿出一个页面进行处理。 //crawl函数能爬取一个页面的所有链接 func crawl(url string) []string { fmt.Println(url) list, err := links.Extract(url) if err != nil { log.Print(err) } return list } func main() {
go爬虫设计(并发版)
zengchen73的专栏
07-20 1680
  在单机版的基础上，将耗时最长，等待时间做多的进行并发 ，也就是Fetch模块 Fetch的输出就是Parse的输入，也就是可以把Fetch和Parse合成一个模块 －－ worker模块 func ( ConcurrentEngine) Run(seeds ...Request){ var requests []Request for _, r := range seed...
Go语言并发爬虫实战：整站爬取与技术详解
资源摘要信息:"《实战Go语言：并发爬虫》是关于使用Go语言开发的一个实践项目，专注于构建能够高效处理网页数据抓取任务的爬虫程序。该项目不仅涵盖传统的爬虫技术，如正则表达式的应用和分页爬取，还特别强调了并发...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值