版权声明:本文为博主原创文章,未经博主允许不得转载。
本人介绍:穗穗,高级数据分析师,5年以上数据分析经验,R/Python/SQL,广外经济
利用scrapy框架爬取某房地产中介网站的近3000条房价信息。本文旨在借助R工具(Excel,Python为辅助)来分析对房价与住房面积的关系,并对其进行线性回归分析。
-------------------文章结构:------------------
1、原始数据整理(细分变量)
2、缺失值和异常值处理
3、数据可视化+广告词词云
4、利用线性回归模型进行房价分析
5、总结
------------------------------------------------------
一、原始数据整理(细分变量)
爬出来的数据比较复杂,结合任务所需要的数据,将需要用到变量整理出来。
首先观察数据,发现以下几个问题:
? 房本满几年("Rqrmnt"列中)有部分数据缺失值,在方位栏切割数据时把这个内容往后了一单元格("Metro"列中)
? 想提取"U.P."(U.P.代表每平米单价)字符串中的数值,每平米单价多少。最重要的面积数据没有单独列出来
? 提取"Focus"字符串中的数值,只保留多少人关注该房。多少次带看数据可以去掉。
1.1 数字提取,字符串合并
R,Excel,python其实都有自己在数据处理上的不同方面的优势,这种数字提取和字符串的合并适合用Excel进行初期处理,用到的函数公式如下:
=LEFT($F2,FIND("年",$F2)) #截取部分文本,操作方法
=MIDB(M2,SEARCHB("?",(M2)),2*LEN(M2)-LENB(M2)) #提取含文字的字符串中的数值,操作方法
做出一定处理和变换后,将"Metro"和"Rqrmnt"合并,只保留"Rqrmnt"列的内容。有了单价和总价,便可得到房子面积,单独成列。处理结果如下:
然后载入R编辑器中做进一步处理。