python3 使用BeautifulSoup爬取网页内容保存到csv

最新推荐文章于 2024-08-26 13:41:43 发布

A_kili

最新推荐文章于 2024-08-26 13:41:43 发布

阅读量5.6k

点赞数 3

分类专栏： python 文章标签： python3 使用BeautifulSoup爬取房天下

本文链接：https://blog.csdn.net/weixin_43467837/article/details/83241860

版权

本文介绍了如何使用Python3的BeautifulSoup库爬取房天下的租房信息，包括户型、租金、面积等字段。由于网站没有反爬机制，故无需代理IP。文中提到部分信息需在详情页获取，为此编写了爬取详情页的函数，并最终将数据保存到CSV文件中。

摘要由CSDN通过智能技术生成

以爬取房天下的租房信息为例：
需要爬取的字段有，户型，租金，面积，朝向，楼层，装修情况，标签，小区名称，地区
因为这个网站没有反爬虫所以不需要用到代理IP

#导入模块
from bs4 import  BeautifulSoup
import requests
def crawlFang(url,data,href): #定义一个爬取字段的函数
    res = requests.get(url)
    html=res.text            #获取网页内容
    #获取BeautifulSoup对象
    soup=BeautifulSoup(html,'html.parser')
                                              #寻找需要爬取内容的标签
    div=soup.find('div',class_="houseList")
    divs=div.find_all('dl',class_="list hiddenMap rel")
    divs.pop(10)                                      #第十一个标签是广告需要删掉
    for each in divs:
        #因为户型，朝向，是在一个字段中的，先把整个文本提取出来
        text=each.find('dd',class_="info rel").find('p',class_="font15 mt12 bold").get_text().strip().split('|')
        #户型
        pattern=text[1]        #在文本中在