用python爬取二手房交易信息并进行分析

最新推荐文章于 2024-07-28 10:15:21 发布

GodMiu

最新推荐文章于 2024-07-28 10:15:21 发布

阅读量8.4k

点赞数 10

文章标签：小项目新手

本文链接：https://blog.csdn.net/GodMiu/article/details/82959647

版权

本文使用Python爬取上海十个区的900条二手房交易信息，通过分析发现小户型市场前景良好，购房者偏向于40000到60000单价的房子。尽管关注度与带看次数无明显关联，但提出了如何提升关注度转化率的解决方案。

摘要由CSDN通过智能技术生成

用python爬取二手房交易信息并分析

第一步：编写爬虫
爬取某平台上海市十个区共900条二手房的交易信息

#爬取上海十个区的二手房价信息
import requests
from bs4 import BeautifulSoup
import csv

#获取房价的文本信息
def gethousetext(url):
    try:
        r = requests.get(url)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "error"


# 获得房子的价格、面积、详细信息等
def gethouseinfo(h_list, html, loc):
    h_info = []
    soup = BeautifulSoup(html, "html.parser")
    house_info = soup.find_all('div', attrs={'class': "listX"})
    # 将房屋信息储存在一个列表里
    for h in house_info:
        p = h.find_all('p')
        h_info = [p[0].text, loc, p[2].text, p[3].text, p[4].text]
        h_list.append(h_info)


def storehouseinfo(h_list, fpath):
    # 打开csv文件，写入数据

    with open(fpath, 'w', encoding='utf-8') as f:
        house_csv = csv.wr