python爬取游天下苏州短租网数据（bs4）

湛蓝9979

于 2021-11-25 21:14:50 发布

阅读量437

点赞数 1

文章标签： python 爬虫

本文链接：https://blog.csdn.net/weixin_56452427/article/details/121547500

版权

本文介绍了使用Python进行网络爬虫，爬取游天下苏州短租网站的数据，包括导入所需库、请求网页、逐家店铺爬取信息、使用循环抓取多家店铺、将数据存储到列表并最终导出数据的过程。

摘要由CSDN通过智能技术生成

网址：苏州短租房,苏州日租房,苏州短租公寓-游天下苏州短租站

导入库

from bs4 import BeautifulSoup
import requests

请求网页

url = 'http://www.youtx.com/suzhou/'
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36'}
res = requests.get(url,headers=headers)

res.status_code
html=res.text
soup=BeautifulSoup(html,'lxml')
soup

soup.find_all('div',attrs={'class':'houseInfo clearfix'})

爬取一家店铺

one=soup.find_all('div',attrs={'class':'house-tit clearfix'})[0]
one

#名称
name=(''.join(one.find('a').contents))   #contents为列表需用(''.join)转为字符串
name      #方法1
one.find('a').attrs['title']   #方法2

#