go爬虫和python爬虫_golang爬虫初体验

最近在学习golang,看网上很多人都喜欢爬豆瓣，今天我就写了一个golang版的爬虫。对于python爬虫，我很了解，什么dom树，js异步，爬虫技术栈都是没问题的。

刚接触golang爬虫，今天写了一个很简单的爬虫，就是使用2个库，一个http、goquery

直接上代码

package main

import (

"net/http"

"fmt"

"github.com/PuerkitoBio/goquery"

"strconv"

)

func GetMovie(url string) {

fmt.Println(url)

resp, err := http.Get(url)

if err != nil {

panic(err)

}

//bodyString, err := ioutil.ReadAll(resp.Body)

//fmt.Println(string(bodyString))

if resp.StatusCode != 200 {

fmt.Println("err")

}

doc, err := goquery.NewDocumentFromReader(resp.Body)

if err != nil {

panic(err)

}

//

doc.Find("#content h1").Each(func(i int, s *goquery.Selection) {

// name

fmt.Println("name:" + s.ChildrenFiltered(`[property="v:itemreviewed"]`).Text())

// year

fmt.Println("year:" + s.ChildrenFiltered(`.year`).Text())

})

// #info > span:nth-child(1) > span.attrs

director := ""

doc.Find("#info span:nth-child(1) span.attrs").Each(func(i int, s *goquery.Selection) {

// 导演

director += s.Text()

//fmt.Println(s.Text())

})

fmt.Println("导演:" + director)

//fmt.Println("\n")

pl := ""

doc.Find("#info span:nth-child(3) span.attrs").Each(func(i int, s *goquery.Selection) {

pl += s.Text()

})

fmt.Println("编剧:" + pl)

charactor := ""

doc.Find("#info span.actor span.attrs").Each(func(i int, s *goquery.Selection) {

charactor += s.Text()

})

fmt.Println("主演:" + charactor)

typeStr := ""

doc.Find("#info > span:nth-child(8)").Each(func(i int, s *goquery.Selection) {

typeStr += s.Text()

})

fmt.Println("类型:" + typeStr)

}

func GetToplist(url string) []string {

var urls []string

resp, err := http.Get(url)

if err != nil {

panic(err)

}

//bodyString, err := ioutil.ReadAll(resp.Body)

//fmt.Println(string(bodyString))

if resp.StatusCode != 200 {

fmt.Println("err")

}

doc, err := goquery.NewDocumentFromReader(resp.Body)

if err != nil {

panic(err)

}

doc.Find("#content div div.article ol li div div.info div.hd a").Each(func(i int, s *goquery.Selection) {

// year

fmt.Printf("%v", s)

herf, _ := s.Attr("href")

urls = append(urls, herf)

})

return urls

}

func main() {

url := "https://movie.douban.com/top250?start="

var urls []string

var newUrl string

fmt.Println("%v", urls)

for i := 0; i < 10; i++ {

start := i * 25

newUrl = url + strconv.Itoa(start)

urls = GetToplist(newUrl)

for _, url := range urls {

GetMovie(url)

}

}

}

以上是最简单版的，可以优化的地方还有很多，比如使用 协程,请求头，反爬虫机制等。

主要使用的就是 goquery这个库，当然也可以使用正则进行匹配。我是拒绝的。 我很喜欢python中的beautifulsoup。goquery类似jquery，可以直接操作dom树。goquery使用的不熟练，代码写的有很多重复，不优雅。

goquery

Go 实现了类似 jQuery 的功能，包括链式操作语法、操作和查询 HTML 文档。它基于 Go net/html 包和 CSS 选择器库 cascadia。由于 net/html 解析器返回的是 DOM 节点，而不是完整的 DOM 树，因此，jQuery 的状态操作函数没有实现（像 height()，css()，detach()）。

由于 net/html 解析器要求文档必须是 UTF-8 编码，因此 goquery 库也有此要求。如果文档不是 UTF-8 编码，使用者需要自己转换。进行编码转换，可以使用如下库：

iconv 的 Go 封装，如：github.com/djimenez/iconv-go

官方提供的 text 子仓库，text/encoding，用于其他编码和 UTF-8 之间进行转换

除了实现和 jQuery 类似的功能外，在函数名方面，也尽量和 jQuery 保持一致，也支持链式语法。

2 goquery 提供的主要类型和方法

2.1 Document

Document 代表一个将要被操作的 HTML 文档，不过，和 jQuery 不同，它装载的是 DOM 文档的一部分。

type Document struct {

*Selection

Url *url.URL

rootNode *html.Node

}

因为 Document 中内嵌了一个 Selection 类型，因此，Document 可以直接使用 Selection 类型的方法。

有五种方法获取一个 Document 实例，分别是从一个 URL 创建、从一个 *html.Node 创建、从一个 io.Reader 创建、从一个 *http.Response 创建和从一个已有的 Document Clone 一个。

2.2 Selection

Selection 代表符合特定条件的节点集合。

type Selection struct {

Nodes []*html.Node

document *Document

prevSel *Selection

}

一般地，得到了 Document 实例后，通过 Dcoument.Find 方法获取一个 Selection 实例，然后像 jQuery 一样使用链式语法和方法操作它。

Selection 类型提供的方法可以分为如下几大类（注意，3个点(…)表示有重载的方法）：

1）类似函数的位置操作

– Eq()

– First()

– Get()

– Index…()

– Last()

– Slice()

2）扩大 Selection 集合（增加选择的节点）

– Add…()

– AndSelf()

– Union(), which is an alias for AddSelection()

3）过滤方法，减少节点集合

– End()

– Filter…()

– Has…()

– Intersection(), which is an alias of FilterSelection()

– Not…()

4）循环遍历选择的节点

– Each()

– EachWithBreak()

– Map()

5）修改文档

– After…()

– Append…()

– Before…()

– Clone()

– Empty()

– Prepend…()

– Remove…()

– ReplaceWith…()

– Unwrap()

– Wrap…()

– WrapAll…()

– WrapInner…()

6）检测或获取节点属性值

– Attr(), RemoveAttr(), SetAttr()

– AddClass(), HasClass(), RemoveClass(), ToggleClass()

– Html()

– Length()

– Size(), which is an alias for Length()

– Text()

7）查询或显示一个节点的身份

– Contains()

– Is…()

8）在文档树之间来回跳转（常用的查找节点方法）

– Children…()

– Contents()

– Find…()

– Next…()

– Parent[s]…()

– Prev…()

– Siblings…()

2.3 Matcher 接口

type Matcher interface {

Match(*html.Node) bool

MatchAll(*html.Node) []*html.Node

Filter([]*html.Node) []*html.Node

}

该接口定义了一些方法，用于匹配 HTML 节点和编译过的选择器字符串。Cascadia’s Selector 实现了该接口。