Python爬虫 - 笔记+手把手爬猎聘网样例

我的博客原文链接:https://blog.achacker.com/posts/2020/09/18/Spider01.html

爬虫技术是一种一种使用代码抓取网页信息的技术,一般情况下使用Python语言来编写爬虫的脚本,其他的语言也部分的对爬虫技术有支持,但是应用不广泛。网络爬虫是一种能有条理并且系统化地浏览Web,以便收集网页数据的程序(通常也被称作“机器人”)。搜索引擎(例如谷歌,必应)利用爬虫来创建索引是网络爬虫最典型的使用案例。

下面是一个爬虫的简单例子,使用到了requets包和BeautifulSoup包。其中

  • request包用于抓取网页信息
  • BeautifulSoup包用于网页信息的提取
import requests
from bs4 import BeautifulSoup

# 搜索关键字为“数据挖掘”,工作地区为北京的url
# dps为工作地区的参数,010为猎聘网为北京地区指定的区域号
url="https://www.liepin.com/zhaopin/?key=数据挖掘&dqs=010"

# 发起访问GET请求
page = requests.get(url = url)
# 输出返回信息 
print(page.url)
# 初始化 soup 对象,page.text为爬取到的带有html标签页面
soup = BeautifulSoup(page.text,"html.parser")
# 找到<h3>标签,实质是获取所有包含职位名称及链接的标签内容
soup = soup.find_all("h3")
#在每个<h3>中进行抽取链接信息
times =0
for i in soup:
	#有些<h3>标签不包含求职信息,做简要判断
    if i.has_attr("title"):
	    #抽取链接内容
        href=i.find_all("a")[0]["href"]
        print(href)
    if times ==1 :
        print("i = -----")
        print(i)

    times=times+1
# 输出为:
# https://www.liepin.com/job/1929399435.shtml
# https://www.liepin.com/job/1925362683.shtml
  • 1
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值