NLP赛事电商搜索

NLP赛事电商搜索

本次题目围绕电商领域搜索算法，开发者们可以通过基于阿里巴巴集团自研的高性能分布式搜索引擎问天引擎（提供高工程性能的电商智能搜索平台），可以快速迭代搜索算法，无需自主建设检索全链路环境。

本次评测的数据来自于淘宝搜索真实的业务场景，其中整个搜索商品集合按照商品的类别随机抽样保证了数据的多样性，搜索Query和相关的商品来自点击行为日志并通过模型+人工确认的方式完成校验保证了训练和测试数据的准确性。

比赛官网：阿里灵杰”问天引擎电商搜索算法赛

环境配置、实践数据下载

1. 从比赛官网下载数据集，并使用Python读取数据；
2. 使用jieba对文本进行分词 ；
3. 使用TFIDF对文本进行编码 ，思考如何使用TFIDF计算文本相似度？；
   思考：词频TF，词频是一个词语在文章或句子中出现的次数。反文档频率IDF也就是词的权重。在词频的基础上，赋予每一个词的权重，进一步体现该词的重要性。比如一篇报道中国农业养殖的新闻报道。最常见的词（“的”、“是”、“在”）给予最小的权重，较常见的词（“国内”、“中国”、“报道”）给予较小的权重，较少见的词（“养殖”、“维基”）。所以刻画能力强的词语，权重应该是最高的。
   将TF和IDF进行相乘࿰