Python爬虫 - 笔记+手把手爬猎聘网样例

我的博客原文链接：https://blog.achacker.com/posts/2020/09/18/Spider01.html

爬虫技术是一种一种使用代码抓取网页信息的技术，一般情况下使用Python语言来编写爬虫的脚本，其他的语言也部分的对爬虫技术有支持，但是应用不广泛。网络爬虫是一种能有条理并且系统化地浏览Web，以便收集网页数据的程序（通常也被称作“机器人”）。搜索引擎（例如谷歌，必应）利用爬虫来创建索引是网络爬虫最典型的使用案例。

下面是一个爬虫的简单例子,使用到了requets包和BeautifulSoup包。其中

• request包用于抓取网页信息
• BeautifulSoup包用于网页信息的提取

import requests
from bs4 import BeautifulSoup

# 搜索关键字为“数据挖掘”，工作地区为北京的url
# dps为工作地区的参数，010为猎聘网为北京地区指定的区域号
url="https://www.liepin.com/zhaopin/?key=数据挖掘&dqs=010"

# 发起访问GET请求
page = requests.get(url = url)
# 输出返回信息 
print(page.url)
# 初始化 soup 对象,page.text为爬取到的带有html标签页面
soup = BeautifulSoup(page.text,"html.parser")
# 找到<h3>标签，实质是获取所有包含职位名称及链接的标签内容
soup = soup.find_all("h3")
#在每个<h3>中进行抽取链接信息
times =0
for i in soup:
	#有些<h3>标签不包含求职信息，做简要判断
    if i.has_attr("title"):
	    #抽取链接内容
        href=i.find_all("a")[0]["href"]
        print(href)
    if times ==1 :
        print("i = -----")
        print(i)

    times=times+1
# 输出为：
# https://www.liepin.com/job/1929399435.shtml
# https://www.liepin.com/job/1925362683.shtml