Golang Colly爬取图片gorm存储数据

frinder

已于 2024-05-06 15:43:42 修改

阅读量479

点赞数 3

文章标签： golang gorm colly

于 2024-04-29 22:31:25 首次发布

本文链接：https://blog.csdn.net/frinder/article/details/138327602

版权

这篇博客展示了如何利用Golang的Colly库爬取网页图片，并通过Gorm将这些图片数据存储到数据库中。文章包含运行结果，其中显示了多个图片文件成功保存的详细信息，以及相关的代码片段，包括爬取方法、子方法和数据库模型的定义。在数据库操作部分，作者提到了遇到的问题，如更新时间戳设置无效，以及Gorm新版本中设置数据库连接线程池的注意事项。

摘要由CSDN通过智能技术生成

语言：Golang

库：Iris/Colly/gorm

运行结果

text/html; charset=utf-8
It is image 20240429222029_0_0.jpg
Saved file: images\20240429222029_0_0.jpg
text/html; charset=utf-8
It is image 20240429222030_1_0.jpg
Saved file: images\20240429222030_1_0.jpg
It is image 20240429222031_1_1.jpg
Saved file: images\20240429222031_1_1.jpg
text/html; charset=utf-8
It is image 20240429222032_2_0.jpg
Saved file: images\20240429222032_2_0.jpg
text/html; charset=utf-8
It is image 20240429222033_3_0.jpg
Saved file: images\20240429222033_3_0.jpg
It is image 20240429222033_3_1.jpg
Saved file: images\20240429222033_3_1.jpg
It is image 20240429222035_3_2.jpg
Saved file: images\20240429222035_3_2.jpg
It is image 20240429222036_3_3.jpg
Saved file: images\20240429222036_3_3.jpg
It is image 20240429222036_3_4.jpg
Saved file: images\20240429222036_3_4.jpg

持久化数据

保存图片

相关代码

爬取方法：

func CrawlingDataFromXHS(requestUrl string) {
	c := colly.NewCollector()
	c.MaxDepth = 6

	detailC := c.Clone()

	// 主题编码
	var topicNo = 0
	// 图片编码
	var imageNo = 0

	c.OnRequest(func(r *colly.Request) {
		tools.AddHeadersForXHS(r)
		//_ = c.SetCookies(r.URL.Path, cookies)
	})

	// 下载指定标签 article 区域内所有的 img
	c.OnHTML("div.footer a.title", func(e *colly.HTMLElement) {
		// 存放主题编码
		topicNo = e.Index
		href := e.Attr("