python学习笔记爬虫——爬取智联招聘信息

最新推荐文章于 2024-04-04 01:24:48 发布
最新推荐文章于 2024-04-04 01:24:48 发布
阅读量339 收藏 1
点赞数
分类专栏： 爬虫 学习 文章标签： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30305565/article/details/98474846
版权

目的：自己输入指定地方，指定职业，起始页数，程序会自动打印页面的所有信息。
实现过程：这次程序的代码跟以往的都不一样，这次也是我第一次使用面向对象式编程，并且并不是分析网页代码，分析json字符串得到数据
下面是代码

import requests,random,re
import urllib
user_agent = [
       "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)",
       "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
       "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
       "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
       "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
       "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
       "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
       "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
       "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
       "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
       "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
       "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
       "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
       "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
       "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
       "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52"
]
headers={"User-Agent": random.choice(user_agent)}
class zhilianzhaopin(object):
    '''设置一个类'''
    url='https://fe-api.zhaopin.com/c/i/sou?'#设置一个url属性,这个属性值时链接的默认属性
    #url中不变的内容，要和参数进行拼接组成完整的url
    def __init__(self,jl,kw,star_page,end_page):
        '''初始化函数，表示每次使用这个类时，这里的参数都要再次进行重新初始化'''
        self.jl=jl
        self.kw=kw
        self.star_page=star_page
        self.end_page=end_page
        self.list=[]
    def handle_request(self,page):
        data={
            'cityId':self.jl,#这里的self.jl引用的就是初始化函数的值
            'kw':self.kw,#同上
            'kt':page
        }
        url_now=self.url+urllib.parse.urlencode(data)
        print(url_now)
        #shel.url引用类属性 "urllib.parse.urlencode(data)"的作用是将data数据和类属性组合到一起，组成一个真正想要得到的链接
        request=requests.get(url_now,headers=headers).text#读取网页源代码
        return request#返回网页源代码
    def parsse(self,conetent):
        '''查找网页数据,coentent属性就是要查找的网页源代码'''
        print('*'*100)
        jobname_list=re.findall(r'"jobName":"(.*?)"',conetent,re.S)
        cmpnyname_list=re.findall('"company":{"name":"(.*?)","number"',conetent,re.S)
        cmpnyurl_list=re.findall('"url":"(.*?)"',conetent,re.S)
        salary_list=re.findall('"salary":"(.*?)"',conetent,re.S)
        type_list=re.findall('"type":{"name":"(.*?)"}',conetent,re.S)
        updatedate_list=re.findall('"updateDate":"(.*?)"',conetent,re.S)
        '''查找具体的数据'''
        for a,b,c,d,e,f in zip(jobname_list,cmpnyname_list,cmpnyurl_list,salary_list,type_list,updatedate_list):
            #在这里出现问题，程序并没有报错但是下面的print不能够显示。
            data={
                '职位':a,
                '公司名称':b,
                '公司链接':c,
                '工资':d,
                '公司性质':e,
                '更新时间':f
            }
            print(data)
            self.list.append(data)

    def run(self):
        '''主管运行整个属性'''
        for page in range(self.star_page,self.end_page+1):#设置循环页数
            request=self.handle_request(page)#将page引用到查找网页源代码的那个函数上，并赋值到request变量上
            content=request#再次定义一个变量
            self.parsse(content)#将上面的获取到网页源代码引用parsse函数中
def main():
    jl=input('请输入工作地点：')
    kw=input('请输入关键词：')
    star_page=int(input('请输入起始页码：'))
    end_page=int(input('请输入结束页码：'))
    spider=zhilianzhaopin(jl,kw,star_page,end_page)
    #将类进行实例化，因为里面的jl，kw等是我们上面定义的初始化函数，所有要指定相应的值
    spider.run()
    #调用类中run函数

if __name__ == '__main__':
    main()#指定main函数

程序有漏洞

下面是我根据上面面向对象编程对我之前的程序进行修改后的代码

目的指定标签，和起始页面下载百度图片

import requests,time,re,random
user_agent = [
       "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)",
       "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
       "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
       "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
       "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
       "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
       "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
       "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
       "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
       "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
       "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
       "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
       "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
       "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
       "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
       "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52"
]
headers={"User-Agent": random.choice(user_agent)}
class baiduimg():
    url='http://image.baidu.com/search/flip?tn=baiduimage'
    def __init__(self,wd,star_page,end_page):
        self.wd=wd
        self.star_page=star_page
        self.end_page=end_page

    def get_url(self,page):
        '''查找网页链接'''
        data={
            'word':self.wd,
            'pn':page
        }
        request=requests.get(self.url,data).text
        return request
    def get_url_down(self,contens):
        '''查找网页中的图片链接'''
        urls_list = re.findall(r' "objURL":"(.*?)"',contens,re.S)
        return urls_list
    def down_list_img(self,url_list):
        '''下载图片链接到指定文件夹'''
        for i in url_list:
            time.sleep(1)
            title = i.split('/')[-1]  # 取链接"/"后的最后一段,作为图片名称
            img_end = re.search('(.jpg|.gif|.png|.jpeg|.tif|.ico)$', title)  # 在图片名称中进行查找，如果没有则返回None
            if img_end == None:  # 进行判断，如果返回结果为None
                title = title + '.jpg'  # 则在名字后面加上'.jpg'后缀
            print('正在下载{}'.format(i))
            img = requests.get(i, headers=headers, verify=False).content  # 读取下载链接并返回二进制形式
            try:
                with open('/users/qq/Desktop/百度图片下载/{}'.format(title), 'wb') as f:  # 打开文件夹以写入二进制的形式创建文件
                    f.write(img)  # 写入二进制
            except:
                pass
        f.close()
    def run(self):
        '''执行上面的函数'''
        for page in range(self.star_page,self.end_page+1):
                data=self.get_url(page)
                url_list=self.get_url_down(data)
                self.down_list_img(url_list)
def main():
    kw=input('请输入想要下载的类型：')
    star_page=int(input('请输入开始页：'))
    end_page=int(input('请输入结束页：'))
    down=baiduimg(kw,star_page,end_page)#将类进行实例化操作
    down.run()
if __name__ == '__main__':
    main()#执行函数
qq_30305565
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python 爬虫 智联招聘
weixin_42272768的博客
05-18 1994
本方法使用cookie的方法下载智联招聘的职位。主要就是要先登录智联招聘，然后将对应的cookie作为爬虫访问的header。代码如下： import requests import re import xlwt def parse_one_page(html): ''' 解析HTML代码，提取有用信息并返回 ''' # 正则表达式进行解析 pattern = re.compile('<span title=.*? class="iteminfo__line1
基于Python的网络爬虫及数据处理---智联招聘人才招聘特征分析与挖掘的算法实现
m0_73485263的博客
10-06 1899
本篇论文主要是利用Python的网络爬虫，通过相应的程序代码，从智联网站上爬取我们所需要的招聘数据，并将这些爬取下来的json类型的网页数据存储进我们建立的关系型数据库（Relational database）MySQL之中，最后通过字段确定，数据获取，可视化实现来展示出我们所需要的结果图，例如平均工资与职位之间的关系，工作经验对于工作薪资待遇的影响等等。在这次毕业设计中，因为我对Python这门语言一知半解，加上爬取过程相对来说比较复杂，这导致了我在爬取智联招聘网站时花费了大量的实践与精力。
Python爬虫爬取智联招聘（进阶版）
2401_83974473的博客
04-01 738
①　2000多本Python电子书（主流和经典的书籍应该都有了）②　Python标准库资料（最全中文版）③　项目源码（四五十个有趣且经典的练手项目及源码）④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）⑤ Python学习路线图（告别不入流的学习）png)
Python爬虫抓取智联招聘（基础版），准备Python面试
最新发布
2301_79098684的博客
04-04 734
请求头：;
Python爬虫爬取智联招聘（进阶版），一个Python程序员的阿里面试心得
03-21 1394
下面引入一个概念：stop word， 在网站里面存在大量的常用词比如：“在”、“里面”、“也”、“的”、“它”、“为”这些词都是停止词。我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
教你用Python爬网站数据，并用BI可视化分析！
weixin_72959097的博客
04-04 1955
两年时间里曾经换过一份工作，一直都是从事大数据相关的行业。目前是一家企业的BI工程师，主要工作就是给业务部门出报表和业务分析报告。回想自己过去的工作成绩也还算是不错的，多次通过自己分析告，解决了业务的疑难杂症，领导们各种离不开。但安逸久了总会有点莫名的慌张，所以我所在的这个岗位未来会有多大发展空间，十年之后我能成为什么样的人呢？自己的收入空间还有多少？一番惆怅之后，别再问路在何方了，于是抄起自己的“家伙”，花了一小会时间爬了智联招聘上BI岗位的数据信息，做了个分析。
Python知乎爬虫——爬取知乎用户简单数据信息
05-08
萌新入坑代码，大佬勿喷
Python爬虫爬取智联招聘
05-29
Python爬虫爬取智联招聘（进阶版），Python爬虫爬取智联招聘
python智联招聘爬虫并导入到excel代码实例
09-18
主要介绍了python智联招聘爬虫并导入到excel代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
基于Python网上招聘信息的爬取和分析
01-12
针对Python语言的大数据爬取和分析，采用以纯python语言编写爬虫脚本的方式，通过爬取51job上招聘信息为“python”和“数据分析”两个词条的数据信息和简要分析，得出python爬虫编写中各类问题的解决方法，最后对规范数据做了进一步分析，分析结果为应聘人才做决策提供了有价值的信息。
基于scrapy框架的智联招聘爬虫
06-27
智联招聘是一个典型的用ajax加载数据的网站 我爬了大概七八万条数据，目前还没有被封IP，
爬虫项目十七：用Python轻松爬下智联招聘七千条招聘信息
weixin_47163937的博客
04-11 5219
文章目录前言一、详情url获取 前言 利用Python爬取智联招聘中全国招聘数据，大约九千条 提示：以下是本篇文章正文内容，下面案例可供参考 我的目的是需要进入页面获取招聘详情页的链接，通过链接再将数据进行爬取 一、详情url获取 下方是列表页的url，其中jl后可直接用省份代替，kw即为搜索的关键词，p表示页数 https://sou.zhaopin.com/?jl=532&kw=%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90&p=1 修改后： https:/
python爬虫实例——爬取智联招聘信息
热门推荐
u010187278的博客
09-05 3万+
受友人所托，写了一个爬取智联招聘信息的爬虫，与大家分享。 本文将介绍如何实现该爬虫。
python爬虫开发之“智联招聘”网页爬取
05-30 6293
先贴上需求： 1. 输入起始页 和结束页 爬取智联招聘上 与python相关职业 2. 爬取的信息包括 就业岗位名称 薪资 地区 公司名称 需求{包括学历和经验} 3. 爬取的信息以字典形式保存到mongodb数据库中 附上urlhttps://sou.zhaopin.com/?jl=681&kw=python&kt=3 点击 ---...
爬取智联招聘信息
不凡De老五
12-27 1350
bs4解析网页； 数据存完xls文件； 爬取智联招聘网站
python 爬虫学习：抓取智联招聘网站职位信息(一)
pxy1993的博客
08-01 7054
近期智联招聘的网站风格变化较快，这对于想爬取数据的人来说有些难受。因此，在前人基础上，我整理了针对智联招聘网站的最新结构进行数据抓取的代码，目前支持抓取职位搜索列表页面的列表项，并将职位列表以exlce表格保存在本地，职位明细页面的职位介绍等内容。下一步将对抓取的数据逐步进行分析处理。 本文用到开发工具为PyCharm，python使用的版本是3.7。引用的模块包含： import r...
python爬取智联招聘网_python爬取智联招聘工作岗位信息
05-28
好的，您想要了解如何使用 Python 爬取智联招聘网站上的工作岗位信息对吗？ 首先，我们可以使用 Python 中的 requests 库来向智联招聘网站发送 HTTP 请求，从而获取页面内容。然后，我们可以使用 BeautifulSoup 库来解析页面内容，提取出我们需要的信息。 以下是一个示例代码，用于爬取智联招聘网站上的 Python 工程师工作岗位信息： ```python import requests from bs4 import BeautifulSoup url = 'https://fe-api.zhaopin.com/c/i/sou?pageSize=60&cityId=489&salary=0,0&workExperience=-1&education=-1&companyType=-1&employmentType=-1&jobWelfareTag=-1&kw=Python&kt=3&_v=0.97530866&x-zp-page-request-id=ad1b5d3b9e3b4d2d9f0f0e6fcb3f8c1d-1626242840263-285644' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299' } response = requests.get(url, headers=headers) soup = BeautifulSoup(response.content, 'html.parser') job_list = soup.find_all('div', {'class': 'job-list'}) for job in job_list: job_name = job.find('a', {'target': '_blank', 'data-jid': True}).text.strip() job_salary = job.find('span', {'class': 'salary'}).text.strip() job_company = job.find('a', {'class': 'company-name'}).text.strip() job_location = job.find('span', {'class': 'job-area'}).text.strip() job_experience = job.find('span', {'class': 'job-exp'}).text.strip() print(job_name, job_salary, job_company, job_location, job_experience) ``` 在这个示例代码中，我们使用了 requests 库向智联招聘网站发送了一个 HTTP 请求，并设置了请求头部信息，以避免被网站识别为爬虫。然后，我们使用 BeautifulSoup 库解析了页面内容，并从中提取出了工作岗位信息。 您可以根据自己的需求修改代码中的参数和条件，以获得您需要的工作岗位信息。注意，爬取网站信息时要遵守相关法律法规和网站规定，不要过度频繁地请求网站，以免对网站造成影响。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值