还在为找房子发愁,学会python,爬虫一键帮你搞定!

信息大爆炸的时代,你怎么高效获取有效信息?

本次小案例同样是利用python当中两个关键库,requests和BeautifulSoup,发起请求,解析网页数据,对这两个库的使用不太熟悉的小伙伴可以网上查查资料学习一下,我就不在这过多解释了,主要聊一下怎么用

1、首先,一定要在代码文件开头,将两个工具库导入

import requests
from bs4 import BeautifulSoup

123

2、两个库准备好之后,就可以将发起请求的功能封装在函数体当中

# 获取当前url下的页面内容,返回soup对象
def get_page(link_url):
	response = requests.get(link_url)
	soup = BeautifulSoup(response.text, 'lxml')
	return soup
12345

3、请求发起之后,分析网页代码,找到我们想要的具体链接,存入到列表当中

# 获取所有房源链接
def get_links(url):
	soup = get_page(url)
	# find_all是获取全部信息
	link_div = soup.find_all('div', class_='content__list--item')  # 获取到包含链接的div
	links = [url+div.a.get('href') for div in link_div]  # 列表推导式打印所有房源url
	return links
1234567

利用find_all函数获取soup对象当中所有的cont

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值