安居客爬虫+分析+回归
工具:Pycharm,Win10,Python3.6.4
这次我们要做的是安居客西安地区房源爬虫,然后数据分析,并做一个简单的回归分析。
我们之前的爬虫和简单的数据分析已经说了很多了,这里我不再展开描述,我直接贴出结果。
以上就是分析的结果。接下来我们要做一个关于房屋总价和单价的回归分析。其实我们爬下来的数据并不是很结构化,单价和总价有的是一个值有的是一个区间值,还有缺失值,我们要对数据做预处理。
data_process = data[data['houseUnitPrice'] != 'None' ]#剔除None数据
for i in range(len(data_process['houseUnitPrice'])):
try:
data_process['houseUnitProce'][i] = data_process['houseUnitProce'][i].split('-')[0]
except:
continue
data_process.to_csv('processed_data.csv',index = False,encoding='utf-8-sig')
row3 = data[data['houseUnitPrice'] != 'None']
row34 = row3[row3['houseTotalPrice']!='None']
# print(row34)
unitPrice_before = (row34['houseUnitPrice'])
for i in range(len(data)):#其中有的数据是8500-9000 取8500
try:
unitPrice_before[i] = unitPrice_before[i].split('-')[0]
except:
continue
totalPrice_before = (row34['houseTotalPrice'])
for i in range(len(data)):
try:
totalPrice_before[i] = totalPrice_before[i].split('-')[0]
except:
continue
# print(unitPrice_before)
# X = np.array((unitPrice_before.astype('int')).values)
X = [unitPrice_before.astype('int').values]
X = np.transpose(X)
y = totalPrice_before.astype('int').values
经过这部分处理我们就能获取到清理后的数据。下面给出回归分析代码。
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
slr = LinearRegression()
slr.fit(X,y)
y_pred = slr.predict(X)
# print(y_pred)
print(slr.coef_[0])
print(slr.intercept_)
def lin_regplot(X, y, model):
plt.scatter(X, y, )
# print(model.predict(X))
plt.plot(X, model.predict(X), color='red', linewidth=2)
return
lin_regplot(X, y, slr)
plt.xlabel('房屋总价')
plt.ylabel('房屋单价')
plt.title('房屋单价与总价回归图')
plt.tight_layout()
# plt.savefig('./figures/scikit_lr_fit.png', dpi=300)
plt.show()
注意点这里在做回归的时候要注意X,y的结构X(409,1),y(409,)。最后得到结果如下
可以看到还是有些错误数据,结果发现有的总结是多少万,这在我们的数据处理中没有注意到,这也是需要处理的地方。