goquery爬虫Boss直聘信息

最新推荐文章于 2024-06-30 12:05:08 发布

Clown95

最新推荐文章于 2024-06-30 12:05:08 发布

阅读量2.8k

点赞数 1

分类专栏： go

本文链接：https://blog.csdn.net/yang731227/article/details/89375050

版权

go 专栏收录该内容

70 篇文章 21 订阅

订阅专栏

title: goquery爬虫Boss直聘信息
tags: go,goquery
author: Clown95

背景

Hello小伙伴们，在之前的文章中，我们对go的爬虫库goquery进行了简单的介绍，今天我们就来进行一个爬虫BOSS直聘Golang招聘信息的实战项目。

需求

在写代码之前，我们先了解下我们需要爬取什么内容。

招聘要求我们鼠标悬停在列表上,会出现一个悬浮窗里面有职位描述

根据网站给出的信息我们可以爬虫到以下内容：

工作岗位
薪资范围
公司地址
工作经验
学历要求
公司名称
公司信息
招聘要求

源文件说明

我们先看一个列表的HTML代码，了解我们需要爬取的内容在哪个标签。

<li>
     <div class="job-primary">
         <div class="info-primary">
             <h3 class="name">
                 <a href="/job_detail/6177f4eb544e15f81n172dm8GVI~.html" data-jid="6177f4eb544e15f81n172dm8GVI~" data-itemid="1" data-lid="1rzMXyp7wgw.search" data-jobid="19124190" data-index="0" ka="search_list_1" target="_blank">
                     <div class="job-title">Golang</div>
                     <span class="red">15k-30k</span>
                     <div class="info-detail"></div>
                 </a>
             </h3>
             <p>北京 朝阳区 四惠<em class="vline"></em>3-5年<em class="vline"></em>本科</p>
         </div>
         <div class="info-company">
             <div class="company-text">
                 <h3 class="name"><a href="/gongsi/a40445e10ec47e2b1Xx83tm-.html" ka="search_list_company_1_custompage" target="_blank">元征科技</a></h3>
                 <p>互联网<em class="vline"></em>已上市<em class="vline"></em>1000-9999人</p>
             </div>
         </div>
         <div class="info-publis">
             <h3 class="name"><img src="https://img.bosszhipin.com/beijin/mcs/useravatar/20180828/41c31311d7c965b71e51ad58a3be8eca6a4d2e0010b6eada6c207131ca360c65_s.jpg?x-oss-process=image/resize,w_40,limit_0" />罗女士<em class="vline"></em>HRBP</h3>
             <p></p>
         </div>
         <a href="javascript:;" data-url="/gchat/addRelation.json?jobId=6177f4eb544e15f81n172dm8GVI~&lid=1rzMXyp7wgw.search" redirect-url="/geek/new/index/chat?id=9e2e5060ec68738a1X1729y4EVQ~" target="_blank" class="btn btn-startchat">立即沟通
         </a>
     </div>
 </li>

通过上面的代码我们可以看到：

工作岗位是在div class="info-primary"下面的div class=“job-title”
薪资范围是在div class="info-primary"下面的span class=“red”
公司地址+工作经验 +学历要求是在div class="info-primary"下面的p标签
公司名称是在div class="info-company"下面的h3 标签class=“name”
公司信息是在div class="info-company"下面的p标签
招聘要求是Json接口有两种方法一是可以直接获取a标签中的json，而是获取a标签中的data-jid属性和data-lid属性拼接json

代码编写

浏览器的User-age设置

大部分网站都具备一定的反爬虫能力，最简单的就是判断访问网页的客户端是否是浏览器，所以我们现在需要模拟下浏览器的User-Agent

//常见浏览器的User-Agent
var UserAgentList = []string{"Mozilla/5.0 (compatible, MSIE 10.0, Windows NT, DigExt)",
	"Mozilla/4.0 (compatible, MSIE 7.0, Windows NT 5.1, 360SE)",
	"Mozilla/4.0 (compatible, MSIE 8.0, Windows NT 6.0, Trident/4.0)",
	"Mozilla/5.0 (compatible, MSIE 9.0, Windows NT 6.1, Trident/5.0,",
	"Opera/9.80 (Windows NT 6.1, U, en) Presto/2.8.131 Version/11.11",
	"Mozilla/4.0 (compatible, MSIE 7.0, Windows NT 5.1, TencentTraveler 4.0)",
	"Mozilla/5.0 (Windows, U, Windows NT 6.1, en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
	"Mozilla/5.0 (Macintosh, Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
	"Mozilla/5.0 (Macintosh, U, Intel Mac OS X 10_6_8, en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
	"Mozilla/5.0 (Linux, U, Android 3.0, en-us, Xoom Build/HRI39) AppleWebKit/534.13 (KHTML, like Gecko) Version/4.0 Safari/534.13",
	"Mozilla/5.0 (iPad, U, CPU OS 4_3_3 like Mac OS X, en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
	"Mozilla/4.0 (compatible, MSIE 7.0, Windows NT 5.1, Trident/4.0, SE 2.X MetaSr 1.0, SE 2.X MetaSr 1.0, .NET CLR 2.0.50727, SE 2.X MetaSr 1.0)",
	"Mozilla/5.0 (iPhone, U, CPU iPhone OS 4_3_3 like Mac OS X, en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
	"MQQBrowser/26 Mozilla/5.0 (Linux, U, Android 2.3.7, zh-cn, MB200 Build/GRJ22, CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1"}

//从上面列表中随机获取一个User-Agent
func GetRandomUserAgent() string {
	r := rand.New(rand.NewSource(time.Now().UnixNano()))
	return UserAgentList[r.Intn(len(UserAgentList))]
}

获取网页

我们爬虫的第一步就是先要获取目标页面的源代码。


func GetHtml(bossurl string) *http.Response {

	proxyurl := "http://122.136.212.132:53281"  //代理IP，需要自己更换

	proxy, _ := url.Parse(proxyurl)  // 解析代理IP

	netTransport := &http.Transport{  //要管理代理、TLS配置、keep-alive、压缩和其他设置，可以创建一个Transport
		Proxy:                 http.ProxyURL(proxy),
		MaxIdleConnsPerHost:   10,
		ResponseHeaderTimeout: time.Second*2,  //超时设置
	}

	client := &http.Client{  //要管理HTTP客户端的头域、重定向策略和其他设置，创建一个Client
		Timeout:   time.Second * 2,
		Transport: netTransport,
	}
	req, err := http.NewRequest("GET", bossurl, nil) //NewRequest使用指定的方法、网址和可选的主题创建并返回一个新的*Request。

	if err != nil {
		log.Println(err)
	}
	
		req.Header.Add("User-Agent", models.GetRandomUserAgent()) //模拟浏览器User-Agent
	resp, err := client.Do(req) //Do方法发送请求，返回HTTP回复
	if err != nil {
		log.Println(err)
	}

	return resp  //返回网页响应

}

可以看到代码中，通过http.Transpor添加了代理IP，并且设置了超时时间。接着通过http.Client创建了一个客户端设置代理IP。为什么需要添加代理IP呢？这是为了防止我们本机的IP，因为访问目标网站过多而被拉黑。简单的来说也是防反爬虫的一种必备方法，我们的代码中只使用了一个代理仅作为演示。在实际开发中，你应该拥有一个代理池能够验证代理的有效性，并随机更换代理。

解析网页内容

网页内容的解析是我们程序的核心，我们使用GoQuery遍历的匹配我们需要的信息。因为使用方都一样，在这边我们侧重说下招聘需求的解析。

func ParseHtml(resp *http.Response){
	defer resp.Body.Close()
	dom, err := goquery.NewDocumentFromReader(resp.Body)
	if err != nil {
		log.Fatalln(err)
	}

	dom.Find(".job-primary").Each(func(i int, selection *goquery.Selection) {
		time.Sleep(3 * time.Second)                                                   //防止访问次数过于频繁
		fmt.Println("公司名称：", selection.Find(".info-company .name").Text())            //公司名称
		fmt.Println("公司简介：", selection.Find(".info-company .company-text p ").Text()) //公司简单信息
		fmt.Println("招聘岗位：", selection.Find(".info-primary .job-title").Text())       //招聘岗位
		fmt.Println("简单信息：", selection.Find(".info-primary p").Text())                // 公司地址+ 工作经验+ 学历要求
		fmt.Println("薪资范围：", selection.Find(".info-primary .red").Text())             // 薪资
		data_lid, _ := selection.Find(".info-primary a").Attr("data-lid")
		data_jid, _ := selection.Find(".info-primary a").Attr("data-jid")
		jobJson := fmt.Sprintf("https://www.zhipin.com/wapi/zpgeek/view/job/card.json?jid=%s&lid=%s", data_jid, data_lid)

		fmt.Println("招聘要求：", GetJobInfo(jobJson))
		fmt.Println()

	})
}

这段代码可以看出，我们的程序是首先获取到json的两个参数信息data_jid和data_lid,然后拼接成一个完成的json接口。GetJobInfo()函数还未给出，我们稍后在看。

我们随便打开一个josn地址复制内容到json.cn解析下，可以看到主要的信息还是一个html。

因此我们先定义一个结构体用来解析json

type JsInfo struct {
	Code    int    `json:"code"`
	Message string `json:"message"`
	ZpData  struct {
		HTML string `json:"html"`
	} `json:"zpData"`
}

然后我们在封装一个GetJobInfo()函数进行Json内容的截取。因为json的主要内容是个html信息，所以我们仍然使用GoQery进行爬取。

func GetJobInfo(url string) (string) {
	respjson, _ := http.Get(url)
	resp_byte, _ := ioutil.ReadAll(respjson.Body)
	respHtml := string(resp_byte)
	var job models.JsInfo
	json.Unmarshal([]byte(respHtml), &job)
	dom, err := goquery.NewDocumentFromReader(strings.NewReader(job.ZpData.HTML))
	if err != nil {
		fmt.Println(err)
	}
	var s string
	dom.Find(".detail-bottom-text").Each(func(i int, selection *goquery.Selection) {
		s = selection.Text()

	})
	return s
}

主函数

主函数的内容比较简单，因为BOSS直聘的翻页跳转是通过ur实现的，我们通过for循环遍历10页的内容，并且添加sleep函数，防止访问过于频繁从而导致我们的IP被拉黑。

func main() {

	for page := 1; page < 10; page++ {
		bossurl := fmt.Sprintf("https://www.zhipin.com/c101010100-p100116/?page=%d&ka=page-%d", page, page)
		time.Sleep(3*time.Second) // 增加延时防止网站拉黑IP
		resp :=GetHtml(bossurl)
		ParseHtml(resp)
	}

}

总结

我们的爬虫小实战到此就完成了，为了防止IP被拉黑，我没有使用并发，有兴趣的小伙伴可以改善下我们的代码。我必须要再次强调，我们在爬虫的时候一定要设置代理IP，因为大部分网站都设置了反爬虫机制，如果我们IP在同一时间内访问次数过多，我们真实的IP会被网站运营商短暂或者永久性拉黑，这会影响到其他用户对网站的正常使用。

最后我们我们看下运行结果。

Clown95

关注

1
点赞
踩
3

收藏

觉得还不错? 一键收藏
5
评论
goquery爬虫Boss直聘信息

title: goquery爬虫Boss直聘信息tags: go,goqueryauthor: Clown95背景Hello小伙伴们，在之前的文章中，我们对go的爬虫库goquery进行了简单的介绍，今天我们就来进行一个爬虫BOSS直聘Golang招聘信息的实战项目。需求在写代码之前，我们先了解下我们需要爬取什么内容。招聘要求我们鼠标悬停在列表上,会出现一个悬浮窗里面有职位描...
复制链接

扫一扫

专栏目录