链家北京二手房交易数据分析

链家北京二手房交易数据分析

项目背景：

基于之前对机器学习，自然语言处理相关内容的学习，并在kaggle上尝试了泰坦尼克号生还者预测，以及Words Meets Bags of Popcorn两个项目的研究，体会到特征工程的重要性，我对数据分析也产生了浓厚的兴趣，对sql进行了集中式的学习之后，以及在阅读过《赤裸裸的统计学》这本书讲解的生活中无处不在的统计学，自己想动手利用所学知识对生活中的数据运用统计学的方法进行分析并得出一些有价值的结论。

收集数据：

在网络上下载链家全网北京二手房数据，通过对这23677条二手房信息的分析与建模来进一步了解这些房源信息。

数据集中相关字段说明：

• Region：北京的区域

• Direction：房屋的朝向

• District：房屋位于的商业区

• Elevator：房屋是否有电梯

• Garden：小区名称

• Id：房屋编号

• Layout：房屋格局

• Price：房屋价格

• Renovation：房屋装修类型

• Size：房屋的大小

• Year：房屋的建造年份

明确分析目标

从二手房业务需求的方向，以及自己关心的这些问题，下面从多个维度（区域，房屋的朝向，房屋的价格与大小等）

• 1.分析影响二手房房价的因素

• 2.北京各区二手房的数量与价格分布

数据初探

• 先将csv格式的原始数导入到numbers，并进行初步的观察，了解数据特征的缺失值，异常值，以及大概的描述性统计。
  

• 初步观察到一共有11个特征变量，Price这里是我们的目标变量，然后进一步的进行观察。

• 将数据导入到spark_sql, 创建数据表。

import csv
with open('lianjia.csv') as f:
    reader = csv.reader(f)
    rows=[row for row in  reader]
    for r in rows[1:]:
        print '\001'.join(r)     

将数据写入 file://Users/liushurui/Desktop/data

• 启动spark_sql

     spqrk-sql

    use default;
    show tables;

   CREATE EXTERNAL TABLE lj(
	 direction STRING,
	 district STRING,
	 elevator STRING,
	 floor STRING,
	 garden STRING,
	 id STRING,
	 layout STRING,
     price STRING,
	 region STRING,
	 renovation STRING,
     size STRING,
	 year STRING
)
STORED AS TEXTFILE LOCATION 'file:///Users/liushurui/Desktop/data';

• 要查看每个特征变量的缺失值情况以及特征值是数值的一些统计值，包括平均数，标准差，中位数等，用sql需要分别对每一列来进行统计，可以先用python处理来进行概览。

# coding:UTF-8

import pandas as pd
import numpy as np

# 导入数据
lianjia_df = pd.read_csv('~/Desktop/Lianjia.csv')
print lianjia_df.head(n=2)
print lianjia_df.info()
print lianjia_df.describe()

• 总结：一共有23677条数据，其中Elevator特征有明显的缺失值。

• 总结：上面的结果给出了特征值是数值的一些统计值，包括平均数，标准差，最小值，25%分位数，75%分位数，最大值。这些统计结果简单直接，对于了解一个特征的基本规律非常有用，并且可以根据经验来对一些数据的好坏做出判断，观察到Size特征的最小值为2平方米，最大值为1019平方米，那我们就可以思考这个在实际中是不存在的，可以确定是异常值，在后面分析过程中加以处理，否则会影响模型的性能。

数据可视化

---