go并发爬虫

说明:

最大20线程,搜索深度不大于3的网页,并打印出来。

当搜索的不是网页的时候,存在bug,还在学习,希望有大佬告知怎么解决。


 
package main

import (
   "fmt"
   "log"
   "net/http"
   "golang.org/x/net/html"
)

type Link struct{
   link string
   dep int
}

func main(){

   turl := make(chan []Link)
   tt := []Link{}
   tt = append(tt,Link{"https://blog.csdn.net/tianlongtc/",1})


   go func(){
      turl <- tt
   }()

   var n int = 1;
   vis := make(map[string]bool)


   for ; n > 0; n-- {
      list := <-turl
      for _,link := range list{
         if !vis[link.link] {
            vis[link.link] = true;
            n++
            go func(link Link){
               turl <- tcrawl(link);
            }(link)
         }
      }
   }

}

var tokens = make(chan struct{}, 20)

func tcrawl(link Link) ([]Link){
   if link.dep > 3{
      return nil
   }

   fmt.Println(link.link,"      ", link.dep)

   tokens <- struct{}{}
   links,err := getUrl(link);
   <-tokens
   if err != nil {
      log.Print(err)
   }

   return links
}


func getUrl(link Link) ([]Link, error ){

   resp,err := http.Get(link.link);
   if err != nil {
      log.Print(err)
   }
   if resp.StatusCode != http.StatusOK {
      resp.Body.Close()
      return nil, fmt.Errorf("getting %s: %s", link.link, resp.Status)
   }

   doc, err := html.Parse(resp.Body)
   if err != nil {
      log.Fatal(err)
   }
   resp.Body.Close()

   var links []Link

   visNode := func (n *html.Node) {
      if n.Type == html.ElementNode && n.Data == "a"{
         for _,a := range n.Attr {
            if a.Key != "href" {
               continue
            }

            lin, err := resp.Request.URL.Parse(a.Val)
            if err != nil {
               continue // ignore bad URLs
            }
            links = append(links, Link{lin.String(),link.dep+1})

         }
      }
   }

   forEach(doc,visNode,nil)

   return links,nil
}

func forEach(n *html.Node, pre, post func(n *html.Node)) {
   if pre != nil {
      pre(n)
   }

   for t := n.FirstChild; t != nil ; t = t.NextSibling {
      forEach(t,pre,post)
   }

   if post != nil {
      post(n)
   }
}


  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值