go爬虫实践获取图片

最新推荐文章于 2022-11-04 16:17:54 发布

RGBMarco

最新推荐文章于 2022-11-04 16:17:54 发布

阅读量2.4k

点赞数 1

分类专栏： GO 文章标签： go 爬虫

本文链接：https://blog.csdn.net/RGBMarco/article/details/82190305

版权

本文介绍如何使用Go和goquery库进行网页图片爬虫的实践，通过遍历HTML中img标签的src属性来抓取并保存图片。示例代码展示了从新浪网站抓取图片的过程，主线程设置延迟以防止goroutine泄漏。

摘要由CSDN通过智能技术生成

一般图片的位置都藏在html中img的src标签里,所有我们可以遍历html的img标签,获取并存取,我采用了goquery一个很不错的解析html的库
下面上代码,爬的的是新浪的，主线程sleep是为了防止goroutine泄漏,当然也可以通过通道避免

package main

import (
    "github.com/PuerkitoBio/goquery"
    "fmt"
    "os"
//  "log"
    "path"
    "strings"
    "regexp"
    "math/rand"
    "io"
    "net/http"
    "time"
)

func randFileName(dirPath string,suffix string) (fileName string) {
    var randChar string = "abcdefghimnjkqzxyt0123456789ioedkaldncalew0129387iue"
    var name string
    size :=