使用pandas清洗数据（中文字符串的正则使用）

      对于之前的从链家网爬取下来的福田区二手房的数据，只是为了提取信息。但是如果要进行数据分析必须对数据进行清理和转换。python的pandas库可以说是中等规模数据处理最好用的工具。下面我就来演示如何对以下数据进行处理：

环境：

win10 pro

python3.6

pandas，re

26	105100952283	长城一花园南北通透精装三房拓出飘窗好楼层好采光 长城花园   | 3室1厅 | 104.7平米 | 南 北 | 精装 | 有电梯 低楼层(共17层)1987年建塔楼  -   百花 41人关注 / 共39次带看 / 4个月以前发布 距离3号线(龙岗线)华新站1151米 房本满五年 780 万 单价74499元	https://image1.ljcdn.com/440300-inspection/6ef5054c-c0bc-4979-89b7-2d3c07b6b8d4.jpg.280x210.jpg.232x174.jpg
27	105101016387	红树绿洲，南向通透两房看花园，看房方便 房主自荐 红树绿洲   | 2室1厅 | 58.98平米 | 东南 | 精装 | 有电梯 低楼层(共28层)2007年建板塔结合  -   福田保税区 43人关注 / 共29次带看 / 2个月以前发布 距离3号线(龙岗线)益田站1176米 房本满五年 365 万 单价61886元	https://image1.ljcdn.com/440300-inspection/b8154d56-7fe9-43f0-a89d-fd32a93422a5.JPG.280x210.jpg.232x174.jpg

      首先介绍我对于在中文字符串中使用正则式的一点小经验（关于正则表达式的基本使用方法和正则表达式的函数在本章不做说明）：

示例：

an=' 绿景新美域 大两房 东南向 地铁口物业 业主诚心卖 绿景花园二期   | 2室1厅 | 72.68平米 | 南 | 精装 低楼层(共29层)2005年建板塔结合  -  房本满五年 472 万 单价64943元'
print (re.findall(r'\s.{5}\s',an))
#用空格隔开，且有五个字符的字符串
print (re.search(r'\s(.{5,6})(?:期)\s+',an).group())
#找到首个有六个字符串短语  
print (re.search(r'\s(?:低)(.{10,20})(?:合)|(?:结)\s+',an).group())
#以低开始并以合结束的，中间10到20个字符的字符串
sp_an=[x for  x  in re.split(' ',an) if str(x) !='' and str(x).find('东')!=-1]
print (sp_an)
#字符串的find方法应用。用空格分割整个字符串并找到含有东这个字的字符串
sp_bn=[x for  x  in re.split(' ',an) if str(x) !='' and str(x).__contains__('房本')]
print (sp_bn)
#用空格分割字符串并找到含有房本这两个字的字符
print ([x for x in re.findall('\S+',an) if str(x).__contains__('室')])
#找到字符串中不是空格的字符，并找到其中含有室这个字的字符串
print(re.match('(?P<de1>.*)\|(?P<de2>.*)\|(?P<de3>.*)\|(?P<de4>.*)\|(?P<de5>.*)-(?P<de6>.*)',an).group('de6'))
print (re.split('\s',an))
print (re.split('(口|业)',an))
print (re.search(r'\s(?:低|业)(.{3,20})(?:合|卖)\s+',an).group())
print (re.search(r'\d+(?:平米)',an).group())

如此我就能很轻松的将中间一列的信息切割成我需要的片段

import pandas as pd
import re
import numpy as np
import xlwings as xw

#########################################################
'''
该模块主要清洗上述链家福田二手数据以便于分析，并将数据输出到目标excel表格

结构化数据如下，利用正则表达式进行提取
大房间，大阳台，满五年，无增值税，视野开阔 益田村   | 3室2厅 | 105.43平米 | 北 | 其他 中楼层(共24层)2002年建板塔结合  -   石厦 50人关注 / 共91次带看 / 4个月以前发布 距离3号线(龙岗线)益田站205米 房本满五年 随时看房 600 万
'''

#####################################################################
lian=pd.read_excel(r'd:\\lianjia_ershou_futian_100.xlsx',sheet_name='Sheet1')
# 用正则将数据分割成为了9列数据
patt=r'(?P<desc>.*)\s{3}\|(?P<room>.*?)\|(?P<size>.*?)\|(?P<direct>.*?)\|(?P<floor>.*)-\s{3}(?P<area>.*)\s{1}(?P<foucs>\d{1,4}.*)\/(?P<watch>.*)\/(?P<pubtime>.*)'
# print (lian['dec'].apply(lambda x:re.match(patt,x).group('direct')))
# 利用正则将dec分成9列数据
# 将dec列分成village和review
new_table=lian['dec'].str.extract(patt,expand=True)
new_table['village']=new_table['desc'].str.split(' ').str[-1]
new_table['review']=new_table['desc'].str.strip().str.split(' ').str[:-1].apply(lambda x:''.join(x))

# 将pubtime分成下面三列
new_table['pub_month']=new_table['pubtime'].str.split(' ').str[1]
new_table['price']=new_table['pubtime'].str.split(' ').str[-3:].apply(lambda x:''.join(x))
new_table['tr_other']=new_table['pubtime'].str.split(' ').str[2:-3].apply(lambda x:''.join(x))

# 将两个表格合并并除去不需要的列
all_infor=pd.concat([lian,new_table],axis=1)
# print (all_infor.columns)
all_infor=all_infor[['code', 'review', 'village', 'area', 'room', 'size', 'direct', 'floor',
       'foucs', 'watch', 'pub_month', 'price',
       'tr_other', 'img']]



####################################################
# 将表格插入到存在的excel表格中
def table_insert_excel_sheets():
    book=xw.Book(r'd:\\lianjia_ershou_futian_100.xlsx')
# 下面这句话的意思是如果sheet是中含有名字是details的工作表，删除该工作表。
    for a in book.sheets:
        if a.name in ['details']:
            a.delete()
    sht2=book.sheets.add('details')
    sht2.activate()
    sht2.range('a1').value=all_infor
    rng = sht2.range('A1').current_region
    rng.autofit()
    book.save()
    book.close()

table_insert_excel_sheets()

最后分割完成以后得到以下的形式：

code

review

village

area

room

size

direct

floor

foucs

watch

pub_month

price

tr_other

img

0

1.05101E+11

大房间，大阳台，满五年，无增值税，视野开阔

益田村

石厦

3室2厅

105.43平米

北

其他 中楼层(共24层)2002年建板塔结合

50人关注

共91次带看

4个月以前发布

600万单价56910元

距离3号线(龙岗线)益田站205米房本满五年随时看房

https://image1.ljcdn.com/440300-inspection/61a23ca4-1051-44dc-8821-b643bd6efe51.jpg.280x210.jpg.232x174.jpg

1

1.05101E+11

新洲大厦精装三房，朝南向，满五唯一红本在手，有钥匙房主自荐

新洲大厦

新洲

3室1厅

108.81平米

西南

精装 | 有电梯 高楼层(共33层)1996年建板塔结合

196人关注

共94次带看

7个月以前发布

450万单价41357元

距离3号线(龙岗线)石厦站858米房本满五年随时看房

https://image1.ljcdn.com/440300-inspection/ca66cec8-dbaa-4e5e-a67b-754beba94d00.JPG.280x210.jpg.232x174.jpg

2

1.05101E+11

京基御景华城2室1厅265万

京基御景华城

赤尾

2室1厅

45.72平米

西北

其他 | 有电梯 中楼层(共34层)2005年建板塔结合

80人关注

共35次带看

9天以前发布

265万单价57962元

距离7号线赤尾站189米房本满五年随时看房

https://image1.ljcdn.com/440300-inspection/af4e1303-8aa1-444d-a451-6eb172cb68bf.jpg.280x210.jpg.232x174.jpg

3

1.05101E+11

梅林一村多层围合南向高层三房无遮挡采光好

梅林一村八区

梅林

3室2厅

92.39平米

南 西南

简装 | 有电梯 高楼层(共9层)1998年建板塔结合

4人关注

共33次带看

1个月以前发布

710万单价76849元

距离9号线下梅林站698米房本满五年随时看房

https://image1.ljcdn.com/440300-inspection/30e3a8b7-40f2-4f81-b9d1-6276c1443bf4.jpg.280x210.jpg.232x174.jpg

4

1.05101E+11

高层，看海景通风流畅给您一个舒适又便宜的家庭

新洲大厦

新洲

4室1厅

108.81平米

西南

毛坯 中楼层(共33层)1996年建板塔结合

44人关注

共24次带看

9天以前发布

430万单价39519元

距离3号线(龙岗线)石厦站898米房本满五年

https://image1.ljcdn.com/440300-inspection/37c48102-5921-4331-abf5-dfbab3927e63.jpg.280x210.jpg.232x174.jpg

5

1.05101E+11

正规大2房，赠送18平大阳台可改3房，满五年唯一税费少房主自荐

尚书苑

梅林

2室1厅

55.12平米

西北

简装 低楼层(共16层)2005年建板塔结合

8人关注

共6次带看

8天以前发布

375万单价68034元

距离9号线梅景站227米房本满五年

https://image1.ljcdn.com/440300-inspection/019bfc1c-b44f-427f-a595-9c84c3c76aed.jpg.280x210.jpg.232x174.jpg

6

1.05101E+11

红树林边上海景刚需小户型这价格不能错过满五唯一

红树家邻

上下沙

2室1厅

55.36平米

南

其他 | 有电梯 高楼层(共9层)2003年建板楼

373人关注

共80次带看

5个月以前发布

315万单价56901元

距离9号线下沙站766米房本满五年

https://image1.ljcdn.com/440300-inspection/5cc9b66a-c261-49d1-ace9-2fd8faf0a282.jpg.280x210.jpg.232x174.jpg

7

1.05101E+11

水木澜山居南向两房客厅赠送大阳台安静08年较新小区

水木澜山居

梅林

2室1厅

74.23平米

南

简装 | 有电梯 低楼层(共31层)2008年建板塔结合

41人关注

共87次带看

2个月以前发布

525万单价70727元

距离9号线孖岭站565米房本满五年随时看房

https://image1.ljcdn.com/440300-inspection/a0232395-6213-411d-a306-c27d7c77598b.jpg.280x210.jpg.232x174.jpg

这些只是数据的清洗工作。需要按照需要做进一步的转化和抽取。我会在下一篇文章中写出实际的操作。

如有意见，请留言或者联系本人rwangnqian@126.com