新闻个性化推荐系统

一、绪论及背景

1.1、绪论

随着互联网与移动互联网迅速普及，网络上的电影娱乐信息相当庞大，人们对感兴趣的新闻信息的需求越来越大，个性化的新闻推荐成为一个热门。基于个性化推荐算法形成的产品成为人们获取信息的主要途径。网络新闻推荐系统旨在解决新闻信息爆炸的问题，为用户提供个性化的推荐服务。一般来说，新闻语言是高度浓缩的，包含了很多知识实体和常识。
个性化推荐一词最早出现在电商行业，是根据用户的兴趣特点和购买行为，向用户推荐用户感兴趣的信息和商品。随着电子商务规模的不断扩大，商品个数和种类快速增长，顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信息和产品过程无疑会使淹没在信息过载问题中的消费者不断流失。为了解决这些问题，个性化推荐系统应运而生。
推荐算法在互联网行业的应用非常广泛，今日头条、美团点评等都有个性化推荐，推荐算法抽象来讲，是一种对于内容满意度的拟合函数，涉及到用户特征和内容特征，作为模型训练所需维度的两大来源，而点击率，页面停留时间，评论或下单等都可以作为一个量化的Y值，这样就可以进行特征工程，构建出一个数据集，然后选择一个合适的监督学习算法进行训练，的都模型后，为客户推荐偏好的内容，如头条，就是咨询和文章。
产生于电子商务领域的个性化推荐技术是基于对用户的偏好进行分析对用户推荐商品的一种创新性的方法，这种方法会大大提高商品成交的纪律，如今个性化推荐的算法已经越来越完善，而且效果越来越好，如果我们将其应用到新闻媒体行业，是否会为这个行业注入新鲜的活力呢？文本通过介绍小组设计过程并结合现存的新闻推荐程序，学习实现个性化推荐算法。

1.2、背景

随着万维网的发展，人们的新闻越度习惯逐渐从传统的报纸、电视等媒介转移到互联网上。在线新闻网站，如Google News和Bing News，从各种来源收集新闻，为读者提供新闻的总览。网络新闻平台的一个最大的问题是，文章的数量可能会让用户望而却步。各类新闻平台都存在信息过载的问题，为了减轻信息过载的影响，关键是要帮助用户确定他们的阅读兴趣，并提出个性化推荐。
互联网在最近十年内出现了爆发性增长，伴随着用户数量迅速的增长的背后是用户数据量的指数级增长，面对着海量的信息，用户往往后感到束手无策，这就是互联网中所谓的信息过载问题。如何帮助用户从海量的信息中获取用户最感兴趣的信息逐渐成为一项热门的研究工作。
信息过载问题传统的解决方案是基于被动响应的服务模式，即用户提出有针对性的需求，服务器端则根据每个用户的具体需求，过滤用户不感兴趣的一些信息，然而这种解决方案也存在一些缺陷，因为它只是向用户提供一些共同兴趣点比较高的信息，例如热门的新闻、电影、音乐等，无法满足用户日益增强的个性化需求，用户获取个性化信息的难度仍然很大。
个性化的解决方案是解决上述问题的主要方法，通过分析用户的历史数据对用户的兴趣爱好进行建模，为每个用户创建一个profile文件，其中记录用户的兴趣表示，并能在和用户不断的交互中学习用户的兴趣，即使更新用户的profile，在适当的时候提供给用户其感兴趣的信息。
近年来个性化信息服务逐渐成为Web技术的热点，推荐系统在实时资讯、新闻、微博、电影、音乐、博客、电商等Web站点中都有大量的应用。通过推荐系统，系统可以有效地解决信息过载问题，分析用户的评分与行为等历史数据建立用户兴趣模型，无需用户特意地填写大量的兴趣调查信息，极大的减轻了用户的负担，使用户的认可度大大增加。
另一方面海量数据的运营压力对每个公司也是非常巨大的，每天都可能会有大量的物品上架，下架。常用的推荐算法一般都基于用户评分历史数据，新上架的物品由于没有任何的访问记录，因此很难将其推荐给对其感兴趣的用户，这种物品有可能一上架后就面临这没有机会被访问的问题，这就是推荐系统中常提到的冷启动问题，因此配合推荐系统的物品运营系统也是非常重要的一个部分，运营人员可以通过人工归类、打标签、写商品描述的方式，为新增的物品提供一些初始的信息，这样物品可以迅速被推荐引擎挖掘，并推荐给感兴趣的用户。

1.3、发展历史

1995年3月，卡耐基·梅隆大学的Robert Armstrong等人在美国人工智能协会上提出了个性化导航系统Web Watcher；斯坦福大学的Marko balabanovic等人在同一会议上推出了个性化推荐系统LIRA
1995年8月，麻省理工学院的Henry Lieberman在国际人工智能联合大会（IJCAI）上提出了个性化导航智能体Litizia；
1996年，Yahoo推出了个性化入口My Yahoo；
1997年，AT&T实验室提出了基于协同过滤的个性化推荐系统PHOAKS和Referral Web；
1999年，德国Dresden技术大学的Tanja Joerding实现了个性化电子商务原型系统TELLIM；
2000年，NEC研究院的Kurt等人为搜索引擎CiteSeer增加了个性化推荐功能；
2001年，纽约大学的Gediminas Adoavicius和Alexander Tuzhilin实现了个性化电子商务网站的用户建模系统1：1Pro；
2001年，IBM公司在其电子商务平台Websphere中增加了个性化功能，以便商家开发个性化电子商务网站；
2003年，Google开创了AdWards盈利模型，通过用户搜索的关键词来提供相关的广告。AdWords的点击率很高，是Google广告收入的主要来源。2007年3月开始，Google为AdWords添加了个性化元素。不仅仅关注单词搜素的关键词，而是对用户近期的搜索历史进行记录和分析，据此了解用户的喜好和需求，更为请确地呈现相关的广告内容。
2007年，雅虎推出了SmartAds广告方案。雅虎掌握了海量的用户信息，如用户的性别、年龄、收入水平、地理位置以及生活方式等，再加上对用户搜索、浏览行为的记录，使得雅虎可以为用户呈现个性化的横幅广告。
2009年，Overstock（美国著名的网上零售商）开始运用ChoiceStream公司制作的个性化横幅广告方案，在一些高流量的网站上投放官品广告。Overstock在运行这项个性化横幅广告的夫妻就取得了惊人的成果，公司称：“广告的点击率是以前的两倍，伴随而来的销售增长也高达20%至30%”
2009年7月，国内首个个性化推荐系统科研团队北京百分点信息科技有限公司成立，该团队专注于个性化