推荐系统长尾

来源:http://www.dmresearch.net/web-data-mining/200910/125139.html

 

我们已经谈过推荐系统的架构和技术分类，接着我们来观察推荐系统的目标和成果，是否如研究者或经营者所预期的那么美好。推荐系统的研究在学界虽然不是红得发紫，但是一直受到相当程度的关注， Netflix Prize 的话题一开，更受人注目。在如何建构一个「更好的」推荐系统这个题目上，过去产、学二界携手的成果，是有目共睹的。

http://b2b.itonghui.com/

 

但是我们对于推荐系对销售究竟有什么影响，它是如何影响消费者的行为，是否真的达到原先建设推荐系统的目的，则是所知甚少，没有足够多的研究可以证实我们的观点（不管这个观点的内容是什么）。

http://www.dmresearch.net/

 

第一种观点：推荐系统促成长尾 http://b2b.itonghui.com/

过去对于推荐系统成效，有两种截然不同的看法，第一种观点，可能也是目前较占上风的观点，认为推荐系统强化了长尾（Long Tail）的实现，让销售方和购买方都得到更多选择与便利。比如说 The Long Tail 的作者，就直接了当在书中宣称我们从信息时代进入「推荐」时代─We are leaving the Information Age and entering the Recommendation Age（读者可参考「长尾」在英国出版宣传时作的 Exclusive Extract ，请看第 24 页）。 http://b2b.itonghui.com/

这儿有一个学院派的例子，MIT Sloan Management Review 在2006年夏天出版了一篇由三位名校（MIT/Purdue/Carnegie Mellon）教授共同执笔的 From Niches to Riches: The Anatomy of the Long Tail （下载PDF）。在这篇文章里，作者们肯定地说：
Our research suggests that search tools can also be very effective in allowing consumers to discover and purchase products they otherwise would not have considered, resulting in changes in sales distribution among a company's products.
作者群在另外一份论文（Goodbye Pareto Principle, Hello Long Tail: The Effect of Search Costs on the Concentration of Product Sales）里表示，在他们的研究里，经由因特网通路购买产品的消费者，倾向于购买不畅销或不是很有名的产品（他们用 obscure 这个字眼）。换句话说，作者认为：IT 科技（当然包括了推荐系统）促成了长尾的实现。
We find evidence that Internet purchases made by consumers with prior experience are more skewed toward obscure products, compared with consumers who have no such experience.
第二种观点：推荐系统锦上添花，结果是强者愈强

http://www.itonghui.com

 

另外一种看法则和前一种观点大相径庭，第二种看法则认为推荐机制（和目前常见的各种营销手段）只是强化原先销售成绩就出色的前段班产品，对于销售多元化（diversity）一点帮助也没有。我们来看个国内的例子：

http://www.dmresearch.net/

 

十月初，老猫学出版发表的「好书会自动贩卖时代」之消逝一文，谈到网络时代的营销活动与长尾（Long Tail）的关系，显然老猫认为网络不仅没有促成长尾，反而让强者愈强，销售的模式的锦上添花而不是百花齐放（先说声抱歉，引文有点长，粗体字和红字是我加上去的，与原文无关）。.....
.....
新书区的替换率太快，促使出版社和书店必须做点什么，以便帮助读者过滤新书。推荐机制、特价、预购、首卖、独家封面、落地陈列、赠品、活动、试读本，所有异于正常发行的动作，都有助于争取读者的眼球，让读者在茫茫书海中先一步辨认出我的书来。
.....
过去我们以为网络世界可以为我们带来可贵的长尾，现在事实证明，网络加速了短头的极端化。好卖的书，卖得比过去更好，而没有营销资源挹注的书种，卖得比过去更差。（如果有人在博客来上班的话，请别误会，我的描述并不带评价，事实上我也不认为虚拟通路无差别地秀出每月两千种新书的书单会有什么好处。此外今天这个这个结果也是出版社和通路携手制造出来的。
最新的研究 http://www.dmresearch.net/bbs

在线推荐系统（online recommenders）比起传统的畅销排行榜（best-seller lists），的确是一大进步，对于销售方和消费者都带来非常大的便利和福祉，这是无庸置疑的。但是推荐系统是不是真的能带来销售的多元化 (diversity)，目前并没有足够多的研究和讨论来支持任何一方的论点。 http://www.itonghui.com

最近两位宾州大学华顿商学院的学者（Daniel M. Fleder and Kartik Kosenagar）针对上文所描述的争论，发表了相关的研究，两位作者认为这篇论文是第一个尝试调和不同论点的研究，论文有长、短两个版本可以下载，个人认为华顿的在线刊物 Knowledge@Wharton 对于这个研究的介绍 ─ 'Reinforcing the Blockbuster Nature of Media': The Impact of Online Recommenders 最具参考价值，文章精简，说明不失深度，而且可以下载 Podcast 慢慢听。Read/Write Web 对这篇论文的报导，也值得一读，这篇报导的读者响应相当精采，如果时间允许，也不妨看看（Yes, I know. 人一天只有24小时）。 http://www.dmresearch.net/

从 Reinforcing the Blockuster Nature 的标题，我们可以想见，这个研究认为，推荐系统的确会让原本的畅销产品销售益发兴旺，不是豪无保留的认为推荐系统与长尾应该划上等号的。这篇论文的焦点，是推荐系统与销售多元发散（diversity才能促成长尾）间的关系，主要观点如下：
• 有些推荐系统，的确会产生 rich-get-richer 的现象，使得销售品项和数量集中，而非多元发展。
• 作者强调纵然个别消费者可能透过推荐系统发掘他们原本不熟悉的产品，但是所有消费者加总（aggregate）的结果，是降低而非增加销售的多方发展。I
• 推荐系统的设计会影响结果，有些推荐系统会造成长尾效果，有些则会得到相反结果，所以公司的经理人应该考虑自身需求来决定设计的方向。
不同的声音 http://www.chinakdd.com

推荐系统研究的开路先锋 Paul Resnick 教授， 在部落格评论上面所提到的研究时，认为 discovery 和 reinforcement 是推荐系统最重要的两个目的。
There are actually two effects that we should expect from recommenders. One is discovery-- once one person discovers an item, some other people with similar tastes who would not have found that item do find it. The other is reinforcement-- an item that many people have sampled will be more likely to get recommended.
华顿的学者在写作论文时，和著名的部落客（博客）Greg Linden ─ 他在1997-2002 间是 Amazon 员工，负责开发推荐系统 ─ 以电子邮件交换意见。Greg 认为，如果没有在线推荐系统，消费者只能使用更粗糙的、传统模式的畅销排行榜名单来寻找产品，这种情况更加降低销售的多元化，不可能促成长尾。同时他还表达，推荐系统可借着调整算法达到长尾的目的 ─ Recommendation algorithms easily can be tuned to favor the back catalog -- the long tail -- as Netflix does.。 http://b2b.itonghui.com/

这还不是结论 http://www.dmresearch.net/

Daniel M. Fleder and Kartik Kosenagar 在文中建构的简单（two-item, two-player, two-urn model ）模型，是否真的足以完整、正确的模拟消费者行为，还是个开放命题。所以这个方向的研究，绝对不是划上句点，而是才刚开始而已。 http://www.dmresearch.net/bbs

从台湾的观点来看，本地的因特网产业，还没有出现一个质量和 Amazon 、Netflix 比肩的推荐系统，若是真的要讨论推荐系统对消费行为的影响，恐怕产生不了足够坚实的论证，要谈本土观点，恐怕还嫌早了点（sigh）。