测试文章·1

爱都会爱上对啊十多哀思奥i海大事

暗示wesf asd放arg爱尔g虽然而发ae fad

撒旦法

啊ad放

爱上的想法

adf 暗示fasd个asd光伏ad放ase放

asef awef wea放ae发送到

gherts好srt gsergrthdert6 hawe个rtjert heryjt7yu十二

 gsert好

package main
 
import "sync"
import "strconv"
import "log"
import "dockerServer/common"

import "github.com/PuerkitoBio/goquery"
 
func getLink(pageLink string,pageNum int,saveCate string,wg *sync.WaitGroup){
	// 获取图片页面的链接
	defer wg.Done()
	var tampLink string
	var finalList []string
	
	for i:=0;i<pageNum;i++{
		if i!=0{
			tampLink=pageLink+"/"+strconv.Itoa(i+1)
		}else{
			tampLink=pageLink
		}
 
		resp,err1:=common.GetHTMLResponse(tampLink)
		if err1 != nil{
			log.Println("获取页面报错 :",err1)
			continue
		}
 
		//  html分析
		doc,err2:=goquery.NewDocumentFromReader(resp.Body)
		if err2!=nil{
			log.Println("HTML错误",err2)
			continue
		}
		// 拿图片页面连接
		doc.Find("img").Each(func(i int,s *goquery.Selection){
			picLink_,isExist:=s.Attr("src")
			if isExist==true{
				// 过滤
				if !common.StrInStrings("www",picLink_){
					finalList = append(finalList,picLink_)
				}
			}
			
		})
	}

	for i,v := range finalList{
		tamSaveJpg:=saveCate+"/"+strconv.Itoa(i)+".jpg"
		common.SavePic(v,tamSaveJpg)
	}
}


func main(){
	path:=common.CrawlerFileAssistant("无限图","CiCi","旗袍")
	beforeList := map[string]int  {
		"https://www.wxytw.com/28681.html":14,
	}
	var go_sync sync.WaitGroup
	
	for k,v:=range beforeList{
		go_sync.Add(1)
		go getLink(k,v,path,&go_sync)
	}
	go_sync.Wait()
	log.Println("爬虫结束")
}

撒娇地hi阿U所困惑对啊是否UI阿谁

ASDF

AS F

SD F

ASD

F SDA

F AS

F AWE

F AWR

YGHSE T

 HDRT

B

SDTRB 

SRTH

 drg

 serg

 ser

g sdfr

g se

g se

 gsert

g se

g

erthert

hjsdeg

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值