边学边记(5):pandas，matplotlib处理爬取的爱屋吉屋二手房数据

之前爬取的爱屋吉屋二手房数据做了下简单的处理，电脑太慢只爬取了2030条。整个过程记录一下

首先导入数据：

import pymysql as py
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt 
conn=py.connect(host='127.0.0.1',port=3306,user='root',passwd='xxxxxxx',db='scrapy',charset='utf8')
cur=conn.cursor()
sql = "select * from aiwuv2"
df = pd.read_sql(sql,conn)

查看下数据

接下来开始整个清洗处理过程

查看数据的列 

df.columns

看起来很乱索性导入到excel里查看下，毕竟只有2000多条

df.to_excel('h:\\new\\aiwu\\aiwuver1.0.xlsx')

处理的思路是：

看房次数列转为int类型，内容为编号xxxx的定义为看房次数为0

挂牌天数列提取数字

根据板块一列增加一列区

单价一栏大部分是万/平，少部分是元/平要提取出数字

OK，现在从看房次数列开始

观察到此列的基本格式是：1.编号开头 2.x人看房。所以处理方式针对第一种直接定义为0次看房，第二种提取出数字

def kanfang(a):  
    if a.startswith('编号'):  
        retu