request+goquery+mahonia实现自动抓取网页数据

最新推荐文章于 2024-02-24 19:16:17 发布

q平面人

最新推荐文章于 2024-02-24 19:16:17 发布

阅读量4.1k

点赞数

分类专栏： golang 构思文章标签： golang request goquery mahonia

本文链接：https://blog.csdn.net/hotqin888/article/details/52194839

版权

golang 同时被 2 个专栏收录

144 篇文章 2 订阅

订阅专栏

构思

8 篇文章 0 订阅

订阅专栏

设计院OA上有维护得比较好的法规库，3000多条，我用了30分钟一页页拷贝到excel中。一共1500页啊。
为啥不用代码抓取呢？因为开始连用chrome登陆访问这个库都打不开，只支持ie。用fiddler获得库页面地址，拷贝到chrome中，也是直接跳到登陆页。今天再努力，chrome登陆，然后点击：进入系统——会打开一个独立的窗口，这个窗口似乎不支持地址输入，没关系，在这个窗口中——公共信息——点下拉——技术标准，会打开一个新窗口，库就出现了。
此时，再回到chrome任何标签页，输入地址，也可以打开了这个库了。不知为何这么复杂。

仅仅记录一下。

下面进入正题，用代码直接抓取库。这样用一个循环可以把1500页一次性抓下来了。
用到三个知识点：request库是构造http访问信息头的，这里将登陆的cookie带上，才能模拟登陆了；mahonia是将页面gb的编码转成utf-8，否则是乱码；goquery大名鼎鼎的获取html中所需要的信息，过滤，定位。

码：

package main


import (

    "code.google.com/p/mahonia"

    "fmt"

    "github.com/PuerkitoBio/goquery"

    "github.com/mozillazg/request"

    "log"

    "net/http"

)


func main() {

    c := new(http.Client)

    req := request.NewRequest(c)

    req.Cookies = map[string]string{

        "JSESSIONID": "35A39472B18BC213B6288F3B6BAA3ABC", //76751D487E4931BA53EE7EF51760E88F

        "stylePath":  "",

    }

    resp, _ := req.Get("http://gpdioa.gpdiwe.com/ProjManager/flfgv08070300009.jsp?08070300003_page=1

    &flf81024flfgl01=&flf81024flfgl01=%BC%BC%CA%F5%B1%EA%D7%BC")


    defer resp.Body.Close() // Don't forget close the response body


    dec := mahonia.NewDecoder("GB2312") //定义转换乱码

    //  fmt.Println(dec.ConvertString(j))   //转成utf-8


    rd := dec.NewReader(resp.Body)

    doc, err := goquery.NewDocumentFromReader(rd)

    if err != nil {

        log.Fatal(err)

    }


    // Find the review items

    doc.Find("tr.trclass").Each(func(i int, s *goquery.Selection) {

        // For each item found, get the band and title

        band := s.Find("td").Text()

        //      title := s.Find("i").Text()

        fmt.Printf("%d: 序号、编号、名称、分类……%s\n", i, band) //, title

    })


}

输出结果：