Grequests 库的使用

Golang：Grequests 库的使用

Go 语言版本的 request

Go 语言内置的请求库 net/http 非常的优秀，但是在代码封装上却不尽完美
对于我这种习惯于用 Python 写爬虫的人来说，如果能有像 Requests 的 Py 库的 Go 版本实现那是再好不过了
所以 Grequests 就诞生了。

安装

go get -u github.com/levigross/grequests

其次，在语法格式上也是遵循 Py 库来封装的，直接来看它的用法

准备了一个模拟登录的 demo

package main

import (
	"encoding/json"
	"fmt"

	//go语言版本的jquery
	//"github.com/PuerkitoBio/goquery"

	//"os"
	//"sync"
	//"strings"

	//go语言版本的request
	"github.com/levigross/grequests"
)


func login_post(log_url, user string, session *grequests.Session) (resp *grequests.Response){
	resp, err := session.Post(log_url,
		&grequests.RequestOptions{
			Data: map[string]string{
				"mobile":   user,
				"password": "password",
			},

			Headers: map[string]string{
				"Accept": "application/json, text/javascript, */*; q=0.01",
				"Accept-Encoding": "gzip, deflate",
				"Accept-Language":"zh-CN,zh;q=0.9,en;q=0.8",
				"Connection": "keep-alive",
				"Content-Length":"69",
				"Content-Type": "application/x-www-form-urlencoded; charset=UTF-8",
				"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36",
				},
		})


	if err == nil && resp.StatusCode == 200 {
		fmt.Println("登录成功！", resp)
		return resp
	}

	fmt.Println("出错")
	return resp
}



func yuyue(yuyue_url string, goods_id int, session *grequests.Session) (resp *grequests.Response){

	param := make(map[interface{}]interface{})
	mapString := make(map[string]string)
	param["i"] = 143
	param["c"] = "entry"
	param["do"] = "member"
	param["m"] = "sz_yi"
	param["p"] = "index"
	param["op"] = "buy"
	param["type"] = "bespeak"
	param["id"] = goods_id
	//fmt.Println(param)
	for key, value := range param {
		strKey := fmt.Sprintf("%v", key)
		strValue := fmt.Sprintf("%v", value)
		mapString[strKey] = strValue
	}
	fmt.Println(mapString)

	resp, err := session.Get(yuyue_url,
		&grequests.RequestOptions{
			Headers: map[string]string{
				"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36",
			},
			Params:mapString,
			//Params: map[string]string{
			//	"i": "143",
			//	"c": "entry",
			//	"do": "member",
			//	"m": "sz_yi",
			//	"p": "index",
			//	"op": "buy",
			//	"type": "bespeak",
			//	"id": goods_id,
			//},
		})
	if err == nil && resp.StatusCode == 200 {
		fmt.Println("预约成功！", resp)
		return resp
	}
	return resp
}


func main() {
	var d map[string]interface{}

	session := grequests.NewSession(nil) //建立session会话
	//fmt.Printf("%T",session)
	login_post("http://www.xxx.xxx/login","123456789100",session)
	yuyue_result := yuyue("http://www.xxx.xxx/index.php",1,session)

	//jjjj := []byte(yuyue_result.Bytes())
	//fmt.Println(string(jjjj))

	json.Unmarshal([]byte(yuyue_result.Bytes()), &d) //转换成json格式
	fmt.Println(d["result"])
}

其实我建议先把 文档看一遍，尝试这写两遍，使用起来就比较顺手了

首先要建立 Session 来保证登陆以及之后的操作来自同一个会话，并且作为参数传入
headers 和 params参数 采用 map 传入
可以看到 resp.StatusCode 之类的语法和 Py 的 requests 非常相似，实际上底层就是 requests
怎么说呢，Py 和 Go 都是开源语言，如果你需要更改源码让代码更强大，可以大胆的去做

原生库
那么，如果不使用 Grequests 的话该如何写呢？

简单贴一下代码

package main
import (
	"fmt"
	"io/ioutil"
	"net/http"
	"net/url"
	"strings"
)

func login(log_url,user string) (*http.Client){

	//params := url.Values{}
	//params.Add("memberAccount", "xxx")
	//params.Add("memberUmm", "haha")
	//params.Add("check", captcha)

	payload := url.Values{"mobile": {user}, "password": {"password"}}

	//申明一个客户端 或者 使用默认
	client := &http.Client{}

	req, err := http.NewRequest(
		"POST",
		log_url,
		strings.NewReader(payload.Encode()), //strings.NewReader(params.Encode()))
	)


	if err != nil {
		panic(err)
	}
	req.Header.Add("Accept", "application/json, text/javascript, */*; q=0.01")
	req.Header.Add("Accept-Encoding", "gzip, deflate")
	req.Header.Add("Connection", "keep-alive")
	req.Header.Add("Accept-Language", "zh-CN,zh;q=0.9,en;q=0.8")
	req.Header.Add("Content-Type", "application/x-www-form-urlencoded; charset=UTF-8")
	req.Header.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36")
	req.Header.Add("X-Requested-With", "XMLHttpRequest")

	r, _ := client.Do(req)
	defer func() { _ = req.Body.Close() }()

	body, _ := ioutil.ReadAll(r.Body)
	fmt.Printf("%s", body)

	fmt.Printf("%T",req)

	//cookie := r.Cookies()
	//fmt.Println(cookie)
	return client
}



func main() {
	//get()
	client := login("http://www.xxx.xxx/login","123456789100")
	fmt.Printf("%T",client)

	}

大概是这样的，原生库有几种写法，具体的就不写了
找个时间写写 go 的爬虫并发

欢迎转载，但要声明出处，不然我顺着网线过去就是一拳。
个人技术博客：http://www.gzky.live