python爬取招聘网站：拉勾网

在之前写拉勾网的爬虫的时候，总是得到下面这个结果（真是头疼），当你看到下面这个结果的时候，也就意味着被反爬了，因为一些网站会有相应的反爬虫措施，例如很多网站会检测某一段时间某个IP的访问次数，如果访问频率太快以至于看起来不像正常访客，它可能就会禁止这个IP的访问：

对于拉勾网，我们要找到职位信息的ajax接口倒是不难（如下图），问题是怎么不得到上面的结果。

要想我们的爬虫不被检测出来，我们可以使用代理IP，而网上有很多提供免费代理的网站，比如西刺代理、快代理、89免费代理等等，我们可以爬取一些免费的代理然后搭建我们的代理池，使用的时候直接从里面进行调用就好了。然后通过观察可以发现，拉勾网最多显示30页职位信息，一页显示15条，也就是说最多显示450条职位信息。在ajax接口返回的结果中可以看到有一个totalCount字段，而这个字段表示的就是查询结果的数量，获取到这个值之后就能知道总共有多少页职位信息了。对于爬取下来的结果，保存在MongoDB数据库中。

主要代码：

---

proxies.py

（爬取免费代理并验证其可用性，然后生成代理池）

1 import requests

2 import re

3

4

5 class Proxies:

6 def init(self):

7 self.proxy_list = []

8 self.headers = {

9 “User-Agent”: "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) "

10 “Chrome/45.0.2454.101 Safari/537.36”,

11 ‘Accept-Encoding’: ‘gzip, deflate, sdch’,

12 }

13

14 # 爬取西刺代理的国内高匿代理

15 def get_proxy_nn(self):

16 proxy_list = []

17 res = requests.get(“http://www.xicidaili.com/nn”, headers=self.headers)

18 ip_list = re.findall(‘(\d+.\d+.\d+.\d+)’, res.text)

19 port_list = re.findall(‘(\d+)’, res.text)

20 for ip, port in zip(ip_list, port_list):

21 proxy_list.append(ip + “:” + port)

22 return proxy_list

23

24 # 验证代理是否能用

25 def verify_proxy(self, proxy_list):

26 for proxy in proxy_list:

27 proxies = {

28 “http”: proxy

29 }

30 try:

31 if requests.get(‘http://www.baidu.com’, proxies=proxies, timeout=2).status_code == 200:

32 print(‘success %s’ % proxy)

33 if proxy not in self.proxy_list:

34 self.proxy_list.append(proxy)

35 except:

36 print(‘fail %s’ % proxy)

37

38 # 保存到proxies.txt里

39 def save_proxy(self):

40 # 验证代理池中的IP是否可用

41 print(“开始清洗代理池…”)

42 with open(“proxies.txt”, ‘r’, encoding=“utf-8”) as f:

43 txt = f.read()

44 # 判断代理池是否为空

45 if txt != ‘’:

46 self.verify_proxy(txt.strip().split(‘\n’))

47 else:

48 print(“代理池为空！\n”)

49 print(“开始存入代理池…”)

50 # 把可用的代理添加到代理池中

51 with open(“proxies.txt”, ‘w’, encoding=“utf-8”) as f:

52 for proxy in self.proxy_list:

53 f.write(proxy + “\n”)

54

55

56 if name == ‘main’:

57 p = Proxies()

58 results = p.get_proxy_nn()

59 print(“爬取到的代理数量”, len(results))

60 print(“开始验证：”)

61 p.verify_proxy(results)

62 print(“验证完毕：”)

63 print(“可用代理数量：”, len(p.proxy_list))

64 p.save_proxy()

在middlewares.py中添加如下代码：

1 class LaGouProxyMiddleWare(object):

2 def process_request(self, request, spider):

3 import random

4 import requests

5 with open(“具体路径\proxies.txt”, ‘r’, encoding=“utf-8”) as f:

6 txt = f.read()

7 proxy = “”

8 flag = 0

9 for i in range(10):

10 proxy = random.choice(txt.split(‘\n’))

11 proxies = {

12 “http”: proxy

13 }

14 if requests.get(‘http://www.baidu.com’, proxies=proxies, timeout=2).status_code == 200:

15 flag = 1

16 break

17 if proxy != “” and flag:

18 print(“Request proxy is {}”.format(proxy))

19 request.meta[“proxy”] = “http://” + proxy

20 else:

21 print(“没有可用的IP！”)

然后还要在settings.py中添加如下代码，这样就能使用代理IP了：

1 SPIDER_MIDDLEWARES = {

2 ‘LaGou.middlewares.LaGouProxyMiddleWare’: 543,

3 }

在item.py中添加如下代码：

1 import scrapy

2

3

4 class LaGouItem(scrapy.Item):

5 city = scrapy.Field() # 城市

6 salary = scrapy.Field() # 薪水

7 position = scrapy.Field() # 职位

8 education = scrapy.Field() # 学历要求

9 company_name = scrapy.Field() # 公司名称

10 company_size = scrapy.Field() # 公司规模

11 finance_stage = scrapy.Field() # 融资阶段

在pipeline.py中添加如下代码：

1 import pymongo

2

3

4 class LaGouPipeline(object):

5 def init(self):

6 conn = pymongo.MongoClient(host=“127.0.0.1”, port=27017)

7 self.col = conn[‘Spider’].LaGou

8

9 def process_item(self, item, spider):

10 self.col.insert(dict(item))

11 return item

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）

g_convert/6c361282296f86381401c05e862fe4e9.png)

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）