python爬取招聘网站：拉勾网，2024年最新面试加分小技巧

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Python全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Python知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024c （备注Python）

正文

34 self.proxy_list.append(proxy)

35 except:

36 print(‘fail %s’ % proxy)

37

38 # 保存到proxies.txt里

39 def save_proxy(self):

40 # 验证代理池中的IP是否可用

41 print(“开始清洗代理池…”)

42 with open(“proxies.txt”, ‘r’, encoding=“utf-8”) as f:

43 txt = f.read()

44 # 判断代理池是否为空

45 if txt != ‘’:

46 self.verify_proxy(txt.strip().split(‘\n’))

47 else:

48 print(“代理池为空！\n”)

49 print(“开始存入代理池…”)

50 # 把可用的代理添加到代理池中

51 with open(“proxies.txt”, ‘w’, encoding=“utf-8”) as f:

52 for proxy in self.proxy_list:

53 f.write(proxy + “\n”)

54

55

56 if name == ‘main’:

57 p = Proxies()

58 results = p.get_proxy_nn()

59 print(“爬取到的代理数量”, len(results))

60 print(“开始验证：”)

61 p.verify_proxy(results)

62 print(“验证完毕：”)

63 print(“可用代理数量：”, len(p.proxy_list))

64 p.save_proxy()

在middlewares.py中添加如下代码：

1 class LaGouProxyMiddleWare(object):

2 def process_request(self, request, spider):

3 import random

4 import requests

5 with open(“具体路径\proxies.txt”, ‘r’, encoding=“utf-8”) as f:

6 txt = f.read()

7 proxy = “”

8 flag = 0

9 for i in range(10):

10 proxy = random.choice(txt.split(‘\n’))

11 proxies = {

12 “http”: proxy

13 }

14 if requests.get(‘http://www.baidu.com’, proxies=proxies, timeout=2).status_code == 200:

15 flag = 1

16 break

17 if proxy != “” and flag:

18 print(“Request proxy is {}”.format(proxy))

19 request.meta[“proxy”] = “http://” + proxy

20 else:

21 print(“没有可用的IP！”)

然后还要在settings.py中添加如下代码，这样就能使用代理IP了：

1 SPIDER_MIDDLEWARES = {

2 ‘LaGou.middlewares.LaGouProxyMiddleWare’: 543,

3 }

在item.py中添加如下代码：

1 import scrapy

2

3

4 class LaGouItem(scrapy.Item):

5 city = scrapy.Field() # 城市

6 salary = scrapy.Field() # 薪水

7 position = scrapy.Field() # 职位

8 education = scrapy.Field() # 学历要求

9 company_name = scrapy.Field() # 公司名称

10 company_size = scrapy.Field() # 公司规模

11 finance_stage = scrapy.Field() # 融资阶段

在pipeline.py中添加如下代码：

1 import pymongo

2

3

4 class LaGouPipeline(object):

5 def init(self):

6 conn = pymongo.MongoClient(host=“127.0.0.1”, port=27017)

7 self.col = conn[‘Spider’].LaGou

8

9 def process_item(self, item, spider):

10 self.col.insert(dict(item))

11 return item

在spiders文件夹下新建一个spider.py，代码如下：

1 import json

2 import scrapy

3 import codecs

4 import requests

5 from time import sleep

6 from LaGou.items import LaGouItem

7

8

9 class LaGouSpider(scrapy.Spider):

10 name = “LaGouSpider”

11

12 def start_requests(self):

13 # city = input(“请输入城市：”)

14 # position = input(“请输入职位方向：”)

15 city = “上海”

16 position = “python”

17 url = “https://www.lagou.com/jobs/positionAjax.json?px=default&needAddtionalResult=false&city={}”.format(city)

18 headers = {

19 “Referer”: “https://www.lagou.com/jobs/list_{}?city={}&cl=false&fromSearch=true&labelWords=&suginput=”.format(codecs.encode(position, ‘utf-8’), codecs.encode(city, ‘utf-8’)),

20 “Cookie”: “_ga=GA1.2.2138387296.1533785827; user_trace_token=20180809113708-7e257026-9b85-11e8-b9bb-525400f775ce; LGUID=20180809113708-7e25732e-9b85-11e8-b9bb-525400f775ce; index_location_city=%E6%AD%A6%E6%B1%89; LGSID=20180818204040-ea6a6ba4-a2e3-11e8-a9f6-5254005c3644; JSESSIONID=ABAAABAAAGFABEFFF09D504261EB56E3CCC780FB4358A5E; Hm_lvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1534294825,1534596041,1534596389,1534597802; TG-TRACK-CODE=search_code; Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1534599373; LGRID=20180818213613-acc3ccc9-a2eb-11e8-9251-525400f775ce; SEARCH_ID=f20ec0fa318244f7bcc0dd981f43d5fe”,

21 “User-Agent”: “Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.89 Safari/537.36”

22 }

23 data = {

24 “first”: “true”,

25 “pn”: 1,

26 “kd”: position

27 }

28 res = requests.post(url, headers=headers, data=data)

29 # 获取相关职位结果数目

30 count = res.json()[‘content’][‘positionResult’][‘totalCount’]

31 # 由于最多显示30页，也就是最多显示450条职位信息

32 page_count = count // 15 + 1 if count <= 450 else 30

33 for i in range(page_count):

34 sleep(5)

现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。

分享给大家这份我薅到的免费视频资料，质量还不错，大家可以跟着学习

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024c （备注python）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
mg.cn/img_convert/21b2604bd33c4b6713f686ddd3fe5aff.png)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024c （备注python）
[外链图片转存中…(img-5XFLiXbI-1713369175616)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！