信息大爆炸的时代,你怎么高效获取有效信息?
本次小案例同样是利用python当中两个关键库,requests和BeautifulSoup,发起请求,解析网页数据,对这两个库的使用不太熟悉的小伙伴可以网上查查资料学习一下,我就不在这过多解释了,主要聊一下怎么用
1、首先,一定要在代码文件开头,将两个工具库导入
import requests from bs4 import BeautifulSoup 123
2、两个库准备好之后,就可以将发起请求的功能封装在函数体当中
# 获取当前url下的页面内容,返回soup对象 def get_page(link_url): response = requests.get(link_url) soup = BeautifulSoup(response.text, 'lxml') return soup 12345
3、请求发起之后,分析网页代码,找到我们想要的具体链接,存入到列表当中
# 获取所有房源链接 def get_links(url): soup = get_page(url) # find_all是获取全部信息 link_div = soup.find_all('div', class_='content__list--item') # 获取到包含链接的div links = [url+div.a.get('href') for div in link_div] # 列表推导式打印所有房源url return links 1234567
利用find_all函数获取soup对象当中所有的cont