基于文本特征的价格模型

摘要：

二手市场相对于新品市场的核心竞争力在于其价格优势。对于二手市场的消费者的核心诉求是找到保证质量的前提下找到价格优惠的商品。但相较于新品市场，二手市场作为C2C市场，商品更加非标准化，交易场景更加非标准化，因此给二手商品提供的合理的定价，引导买卖双方在合理的价格区间达成交易，能极大提高二手交易的效率。

日本大型的电商APP Mercari发起并赞助了Mercari PriceSuggestion Challenge，详细请参考(https://www.kaggle.com/c/mercari-price-suggestion-challenge)。竞赛的内容是根据Mercari提供的商品描述、标题、类目等信息预估商品的价格，例如下面两个毛衣的价格分别为$335和$9.99，我们可以通过商品的描述判断其相应的价格。

Evaluation metric是模型的RMSLE (Root Mean Squared Logarithmic Error)，具体的细节我们会在下文展开。竞赛的first placewinner在测试数据集上的RMSLE达到了0.3875。由于这个竞赛跟我们的课题非常类似，因此我们也在Mercari提供的数据集上进行了一些尝试。我们的模型精度达到0.3873，与第一名的结果基本持平。下面我们会展开我们对这个问题的解决思路和详细的结果。

  

正文

1．数据分析和处理

Mercari提供的价格数据包括如下信息：商品的标题、商品的描述、商品的类目、商品的新旧程度（离散变量），商品是否包邮，商品的价格。现在我们有训练集和测试集两个数据集，其中训练集有118.6