题记:
继上篇对安居客二手房数据进行爬取之后,接下来是对安居客进行数据预处理。
一:
观察上述数据可以发现爬取的数据比较杂乱无章,这时需要我们对数据进行处理,比如把一些无效数据清除掉,还有一些机器无法识别的数据,方便后期运用集群对数据进行获取与观察。
清洗的数据包括:房屋编号,元/㎡,月供,房产等
二:
1.
对数据进行处理需要用到以下函数:
import shutil
import pandas as pd
import re
import os
尤其是pandas函数,可以帮助我们很方便的对数据进行处理(pandas 是基于NumPy 的一种工具,该工具是为解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法)
2.
接下来具体对数据进行处理
(1)先获取处理前的文件
需要用到shutil函数对文件进行移动。对文件进行了一个获取
代码如下:
#移动文件
def dealData():
if os.path.exists("./安居客_处理前.txt"):
os.remove("./安居客_处理前.txt")
if os.path.exists("./安居客_处理后.txt"):
os.remove("./安居客_处理后.txt")
srcfile = "../数据采集/安居客.txt"
dstfile = "./安居客_处理前.txt"
shutil.copy(srcfile, dstfile) # 移动文件
print("移动文件 %s -> %s" % (srcfile, dstfile))
transformData()
(2)打开文件后这时需要用到上面所提到pandas函数,通过对上述数据的观察,可以发现每列数据的开头都有房屋编号,这时我们可以看成一个列函数,用columns对数据进行一个排序,对每一个数据赋一个元素,方便我们接下来对数据进行处理。
代码如下:
data.columns = ['编号', '区县', '片区', '小区名称', '房屋单价', '房屋总价',
'户型', '楼层', '面积', '朝向', '装修',
'建设时间','房屋属性','用途','产权','产权时间',
'唯一住房', '房贷','中介公司','挂牌时间']
print(data.head())
(3)
data = data[data['编号'].str.contains('房屋编码')]
把房屋编号替换成编号,这时就可以对数据进行处理了。(同时把无效数据进行处理掉)
处理方法有三种等
data["编号"] = data.apply(lambda x: formatHouseNumber(x), axis=1)
'''
格式化房屋编号
'''
def formatHouseNumber(colunm):
return colunm["编号"].replace("房屋编码:","")
用函数方法对数据进行处理,把“房屋编号”替换成编号
data["房屋单价"] = data.apply(lambda x: x["房屋单价"].replace("元/㎡", ""), axis=1)
直接在data中进行直接处理,对房屋单价进行处理
'''
首付
'''
def formatHouseFirstPay(colunm):
partten = "首付(\d+)万.+月供(\d+.\d+)元"
return int(re.search(partten,colunm["房贷"]).group(1)) * 10000
用re正则表达式获取相应的数据
其他的数据处理方法诸如此类
(4)
1.需要注意的是
data["楼层位置"] = data.apply(lambda x: x["楼层"].split("(")[0], axis=1)
data["楼层数"] = data.apply(lambda x: re.search("\d+",x["楼层"]).group(), axis=1)
data.drop(['楼层'], axis=1, inplace=True) #楼层数据处理完,不再需要
对楼层进行处理时,需要楼层位置和楼层数,把楼层进行了两部分的拆分,所以最后我们要把楼层删除掉(房贷处理也是如此)
2.需要注意的是,数据在pandas中数据类型为float型,要用数据类型处理时需要判断是否是浮点型
'''
建设产权时间
'''
def formatHouseRightTime(colunm):
return "未知" if type(colunm["产权时间"]) == float else colunm["产权时间"]
最后处理文档如下:
写入文件:data.to_csv("./安居客_处理后.txt", sep=";", index=False)
对安居客的数据处理就完成了
源代码如下:
import shutil
import pandas as pd
import re
import os
'''
格式化房屋编号
'''
def formatHouseNumber(colunm):
return colunm["编号"].replace("房屋编码:","")
'''
格式化房屋总价
'''
def formatHouseTotal(colunm):
return int(re.search("\d+",colunm["房屋总价"].replace("房屋编码:","")).group())*10000
'''
建设时间
'''
def formatHouseBuildTime(colunm):
return re.search("\d+", colunm["建设时间"]).group() if re.search("\d+", colunm["建设时间"]) != None else "未知"
'''
建设产权
'''
def formatHouseRight(colunm):
return re.search("\d+", colunm["产权"]).group() if re.search("\d+", colunm["产权"]) != None else "未知"
'''
建设产权时间
'''
def formatHouseRightTime(colunm):
return "未知" if type(colunm["产权时间"]) == float else colunm["产权时间"]
'''
唯一住房
'''
def formatHouseOnly(colunm):
return "否" if type(colunm["唯一住房"]) == float else colunm["唯一住房"]
'''
首付
'''
def formatHouseFirstPay(colunm):
partten = "首付(\d+)万.+月供(\d+.\d+)元"
return int(re.search(partten,colunm["房贷"]).group(1)) * 10000
'''
月供
'''
def formatHouseMonthPay(colunm):
partten = "首付(\d+)万.+月供(\d+.\d+)元"
return re.search(partten, colunm["房贷"]).group(2)
'''
预处理数据
'''
def transformData():
data = pd.read_csv("./安居客_处理前.txt", header=None, sep=";", encoding="utf-8")
#数据实例(5列换行):
#房屋编码:1906158650072067;双流华府;中铁骑士府邸;20465.0元/㎡;185 万 ;
#4室2厅2卫;低层(共28层);90.4㎡ ;南北;精装修;
#2016年竣工/普通住宅 ;商品房住宅;普通住宅;70年产权;满二年;
#是;首付55万,月供6872.91元;九业房产;2021-3-14
data.columns = ['编号', '区县', '片区', '小区名称', '房屋单价', '房屋总价',
'户型', '楼层', '面积', '朝向', '装修',
'建设时间','房屋属性','用途','产权','产权时间',
'唯一住房', '房贷','中介公司','挂牌时间']
print(data.head())
#删除乱码对应的行,只保留包含“房屋编码”的数据
data = data[data['编号'].str.contains('房屋编码')]
data["编号"] = data.apply(lambda x: formatHouseNumber(x), axis=1)
data["房屋单价"] = data.apply(lambda x: x["房屋单价"].replace("元/㎡", ""), axis=1)
data["房屋总价"] = data.apply(lambda x: formatHouseTotal(x), axis=1)
data["楼层位置"] = data.apply(lambda x: x["楼层"].split("(")[0], axis=1)
data["楼层数"] = data.apply(lambda x: re.search("\d+",x["楼层"]).group(), axis=1)
data.drop(['楼层'], axis=1, inplace=True) #楼层数据处理完,不再需要
data["面积"] = data.apply(lambda x: x["面积"].replace("㎡ ", ""), axis=1)
data["建设时间"] = data.apply(lambda x: formatHouseBuildTime(x), axis=1)
data["产权"] = data.apply(lambda x: formatHouseRight(x), axis=1)
data["产权时间"] = data.apply(lambda x: formatHouseRightTime(x), axis=1)
data["唯一住房"] = data.apply(lambda x: formatHouseOnly(x), axis=1)
data["首付"] = data.apply(lambda x: formatHouseFirstPay(x), axis=1)
data["月供"] = data.apply(lambda x: formatHouseMonthPay(x), axis=1)
data.drop(['房贷'], axis=1, inplace=True) # 房贷数据处理完,不再需要
data.to_csv("./安居客_处理后.txt", sep=";", index=False)
#data.to_csv("./安居客_处理前.txt",sep=";", columns=["编号","小区名称","房屋单价","房屋总价","户型","面积","房贷"],index=False)
#编号;区县;片区;小区名称;房屋单价;房屋总价;户型;面积;朝向;装修;建设时间;房屋属性;用途;产权;产权时间;唯一住房;中介公司;挂牌时间;楼层位置;楼层数;首付;月供
#可以通过header修改列的顺序
#移动文件
def dealData():
if os.path.exists("./安居客_处理前.txt"):
os.remove("./安居客_处理前.txt")
if os.path.exists("./安居客_处理后.txt"):
os.remove("./安居客_处理后.txt")
srcfile = "../数据采集/安居客.txt"
dstfile = "./安居客_处理前.txt"
shutil.copy(srcfile, dstfile) # 移动文件
print("移动文件 %s -> %s" % (srcfile, dstfile))
transformData()
if __name__ == "__main__":
dealData()