python爬虫实战-爬取岗位招聘信息并保存至本地（方法、bs4）

最新推荐文章于 2020-12-08 13:11:34 发布

hoochon

最新推荐文章于 2020-12-08 13:11:34 发布

阅读量1.3k

点赞数

分类专栏： python实战文章标签： python 爬虫

本文链接：https://blog.csdn.net/hoochon/article/details/87893248

版权

本文介绍了使用Python爬虫技术，结合BeautifulSoup库，实现从网上抓取最新的岗位招聘信息，并详细讲解了如何将这些数据保存到本地文件中，为数据分析或个人求职提供便利。

摘要由CSDN通过智能技术生成

python爬虫实战-爬取岗位招聘信息并保存至本地（方法，bs4）

from bs4 import BeautifulSoup
import urllib.request
import urllib.parse
import json
import time

class ZhiLianSpider(object):
	"""docstring for ZhiLianSpider"""
	url='https://xiaoyuan.zhaopin.com/full/0/0_0_0_0_0_-1_'
	# https://xiaoyuan.zhaopin.com/full/0/0_0_0_0_0_-1_%E8%A5%BF%E5%AE%89_3_0
	def __init__(self, kw,start_page,end_page):
		super(ZhiLianSpider, self).__init__()
		self.kw=kw
		self.start_page=start_page
		self.end_page=end_page
		self.items=[]

	def parse_content(self,content):
		soup=BeautifulSoup(content,'lxml')<