用requests库、bs4的BeautifulSoup库和pandas爬取房地产网页的房屋出售信息

# -*- coding:utf-8 -*-
import requests
from bs4 import BeautifulSoup
import pandas as pd

# 获取网页源码
def get_html(url):
    try:
        res=requests.get(url,timeout=30)  # 发送url请求，并将请求到的结果赋值给res
        res.encoding='gb2312'       # 同一改成 GB2312 编码
        return res.text
    except:
        return ''
def parse_html(html):
    # 将爬取到的网页传给beautifulsoup，用html引擎解析器解析
    soup=BeautifulSoup(html,'html.parser')
    # 查找所有tr标签里属性的键是bgcolor值是#FFFFFF的标签，以列表的形式赋值给变量
    tr_list=soup.find_all('tr',attrs={'bgcolor':'#FFFFFF'})
    # 保存所有房屋信息
    houses=[]
    for tr in tr_list:
        house={}
        # 详细地址
        house['详细地址']=tr.find_all('a',attrs={'target':'_blank'})[0].string
        # 详情链接
        house['详情链接']='http://www.lgfdcw.com/cs/'+tr.find_all('a',attrs={'target':'