python--爬虫51job(2.1)

②网页返回的内容是html格式的,下面是经过简化之后的部分页面内容:
<span class="t3">北京-朝阳区</span>
<span class="t4">1.5-2万/月</span>
<span class="t5">10-16</span>
<span class="t3">深圳-龙华新区</span>
<span class="t4">1.5-2.5万/月</span>
<span class="t5">10-16</span>
<span class="t3">北京-海淀区</span>
<span class="t4">0.8-1.5万/月</span>
<span class="t5">10-16</span>
<span class="t3">广州</span>
<span class="t4">1.5-2万/月</span>
<span class="t5">10-16</span>
可以尝试用字符串比对的方式取出里面的数据部分,结果如下:
北京-朝阳区
1.5-2万/月
10-16
深圳-龙华新区
1.5-2.5万/月
10-16
北京-海淀区
0.8-1.5万/月
10-16
广州
1.5-2万/月
10-16

 

ps:任务①是只访问的第一页的内容(1.html),我们老师说的是1-10页,做个for循环就可以啦,

现在任务二是提取数据,我们可以使用字符串比对,也可以使用正则表达式

当然字符串比对方式我真没咋理解确切的是什么意思,不过在网上搜到一个关于查询豆瓣电影信息的爬虫方法,感觉差不多,所以改了一下

import urllib.request 
import re 
from bs4 import BeautifulSoup
 
 
page=urllib.request.urlopen('https://search.51job.com/list/010000%252C020000%252C030200%252C040000,000000,0000,00,9,99,python%2520java,2,1.html?lang=c&stype=&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&providesalary=99&lonlat=0%2C0&radius=-1&ord_field=0&confirmdate=9&fromType=&dibiaoid=0&address=&line=&specialarea=00&from=&welfare="')
contents = page.read()
#前面这些都是访问网页读取信息和任务一一样
soup = BeautifulSoup(contents,"html.parser") 
#这里用到的是BeautifulSoup方法,也就是如何提取所需信息,这里俩参数---需要提取信息的html文件;指#定解析器
for tag in soup.find_all('div', class_='el'):  
#任务一返回的网页信息的文本文件中find可以找到任务二所需要提取信息所在位置,因此进行循环--具体含义#还需要再想想    
    try:
        m_port = tag.find('span', class_='t3').get_text()
        m_salary=tag.find('span', class_='t4').get_text()
        m_date=tag.find('span', class_='t5').get_text()
        print( m_port+"\n"+m_salary+"\n"+m_date+ "\n")
#这里我用了一个异常处理,因为有些内容虽然是在find_all指定内容里,但未必含有我们需要的信息,所以
#进行异常处理,遇到直接跳过就好。这个异常处理怎么得到的呢,因为没用之前直接输出会显示该错误类型    
    except AttributeError:
        continue
    
    

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值