用定租问题学透机器学习的K近邻算法

k 近邻思想是我觉得最纯粹最清晰的一个思想，k 近邻算法（KNN）只是这个思想在数据领域都一个应用。

你的工资由你周围的人决定。

你的水平由你身边最接近的人的水平决定。

你所看到的世界，由你身边的人决定。

思想归思想，不能被编码那也无法应用于数据科学领域。

我们提出问题，然后应用该方法加以解决，以此加深我们对方法的理解。

问题： 假设你是 airbnb 平台的房东，怎么给自己的房子定租金呢？

分析： 租客根据 airbnb 平台上的租房信息，主要包括价格、卧室数量、房屋类型、位置等等挑选自己满意的房子。给房子定租金是跟市场动态息息相关的，同样类型的房子我们收费太高租客肯定不租，收费太低收益又不好。

解答： 收集跟我们房子条件差不多的一些房子信息，确定跟我们房子最相近的几个，然后求其定价的平均值，以此作为我们房子的租金。

这就是 K-Nearest Neighbors（KNN），k 近邻算法。KNN 的核心思想是未标记样本的类别，由距离其最近的 k 个邻居投票决定。

本文就基于房租定价问题梳理下该算法应用的全流程，包含如下部分。

1. 读入数据
2. 数据处理
3. 手写算法代码预测
4. 利用 sklearn 作模型预测
5. 超参优化
6. 交叉验证
7. 总结

提前声明，本数据集是公开的，你可以在网上找到很多相关主题的材料，本文力图解释地完整且精准，如果你找到了更详实的学习材料，那再好不过了。

1.读入数据

先读入数据，了解下数据情况，发现目标变量price，以及cleaning_fee和security_deposit的格式有点问题，另有一些变量是字符型，都需要处理。我对 dataframe 进行了转置显示，方便查看。

2.数据处理

我们先只处理price，尽量集中在算法思想本身上面去。

# 处理下目标变量price，并转换成数值型
stripped_commas = dc_listings['price'].str.replace(',', '')
stripped_dollars = stripped_commas.str.replace('$', '')
dc_listings['price'] = stripped_dollars.astype('float')

# k近邻算法也是模型，需要划分训练集和测试集
sample_num = len(dc_listings)
# 在这我们先把数据随机打散，保证数据集的切分随机有效
dc_listings = dc_listings.loc[np.random.permutation(len(sample_num))]
train_df = dc_listings.iloc[0:int(0.7*sample_num)]
test_df = dc_listings.iloc[int(0.7*sample_num):]

3.手写算法代码预测

根据 k 近邻算法的定义直接编写代码，从简单高效上考虑，我们仅针对单变量作预测。

入住人数应该是和租金关联度很高的信息，面积应该也是。我们这里采用前者。

我们的目标是理解算法逻辑。实际操作中一般不会只考虑单一变量。

# 注意，这儿是train_df
def predict_price(new_listing):
    temp_df = train_df.copy()
    temp_df['distance'] = temp_df['accommodates'].apply(lambda x: np.abs(x - new_listing))
    temp_df = temp_df.sort_values('distance')
    nearest_neighbor_prices = temp_df.iloc[0:5]['price']
    predicted_price = nearest_neighbor_prices.mean()
    return(predicted_price)

# 这儿是test_df
test_df['predicted_price'] =