神经网络 推荐

苹果手机个性化推荐要不要打开？

数据挖掘工程师一般都做什么？

数据挖掘工程师是做什么的？数据挖掘，从字面上理解，就是在数据中找到有用的东西，哪些东西有用就要看具体的业务目标了AI爱发猫 www.aifamao.com。

最简单的就是统计应用了，比如电商数据，如淘宝统计过哪个省购买泳衣最多、哪个省的女生胸罩最大等，进一步，可以基于用户的浏览、点击、收藏、购买等行为推断用户的年龄、性别、购买能力、爱好等能表示一个人的画像，就相当于用这些挖掘出来的属性来刻画一个人，这些还是最简单的东西，更深层次的比如预测（股票预测），但是比较难。

数据挖掘往往与机器学习离不开。比如分类、聚类、关联规则挖掘、个性化推荐、预测、神经网络、深度学习等。

数据挖掘 = 业务知识 + 自然语言处理技术（NLP）+ 计算机视觉技术（CV）+ 机器学习/深度学习（ML/DL）（1）其中业务知识具体指的是个性化推荐，计算广告，搜索，互联网金融等；NLP，CV分别是处理文本，图像视频数据的领域技术，可以理解为是将非结构化数据提取转换成结构化数据；最后的ml/dl技术则是属于模型学习理论；（2）在选择岗位时，各个公司都没有一套标准的称呼，但是所做的事情无非2个大方向，一种是主要钻研某个领域的技术，比如自然语言处理工程师，计算机视觉工程师，机器学习工程师等；一种是将各种领域技术应用到业务场景中去解决业务需求，比如数据挖掘工程师，推荐系统工程师等；具体的称呼不重要，重要的是平时的工作内容；PS：在互联网行业，数据挖掘相关技术应用比较成功的主要是推荐以及计算广告领域，而其中涉及到的数据主要也是文本，所以NLP技术相对来讲比较重要，至于CV技术主要还是在人工智能领域（无人车，人脸识别等）应用较多，本人了解有限，相关的描述会较少；数据挖掘岗位需要具备的3种基本能力1.    工程能力（1）编程基础：需要掌握一大一小两门语言，大的指C++或者Java，小的指Python或者shell脚本；需要掌握基本的数据库语言；建议：MySQL+python+C++；语言只是一种工具，看看语法就好；推荐书籍：《C++primerplus》（2）开发平台：Linux；建议：掌握常见的命令，掌握Linux下的源码编译原理；推荐书籍：《Linux私房菜》（3）数据结构与算法分析基础：掌握常见的数据结构以及操作（线性表，队，列，字符串，树，图等），掌握常见的计算机算法（排序算法，查找算法，动态规划，递归等）；建议：多敲代码，多上OJ平台刷题；推荐书籍：《大话数据结构》《剑指offer》（4）海量数据处理平台：Hadoop（mr计算模型，java开发）或者Spark（rdd计算模型，scala开发），重点推荐后者；建议：主要是会使用，有精力的话可以看看源码了解集群调度机制之类的；推荐书籍：《大数据spark企业级实战》2.    算法能力（1）数学基础：概率论，数理统计，线性代数，随机过程，最优化理论建议：这些是必须要了解的，即使没法做到基础扎实，起码也要掌握每门学科的理论体系，涉及到相应知识点时通过查阅资料可以做到无障碍理解；（2）机器学习/深度学习：掌握常见的机器学习模型（线性回归，逻辑回归，SVM，感知机；决策树，随机森林，GBDT，XGBoost；贝叶斯， KNN，K-means，EM等）；掌握常见的机器学习理论（过拟合问题，交叉验证问题，模型选择问题，模型融合问题等）；掌握常见的深度学习模型（CNN，RNN等）；建议：这里的掌握指的是能够熟悉推导公式并能知道模型的适用场景；推荐书籍：《统计学习方法》《机器学习》《机器学习实战》《UFLDL》（3）自然语言处理：掌握常见的方法（tf-idf，word2vec，LDA）；3.    业务经验（1）了解推荐以及计算广告相关知识；推荐书籍：《推荐系统实践》《计算广告》（2）通过参加数据挖掘竞赛熟悉相关业务场景，常见的比赛有Kaggle，阿里天池，datacastle等。

想要学习数据挖掘的话可以看一下这篇文章《AI时代就业指南：数据挖掘入门与求职》

个性化推荐是什么意思?

个性化推荐，举个例子，譬如你一直喜欢在网上购买各类美食，一天当你打开某家有个性化推荐功能的网站购物时，不用搜索你就能在醒目的地方看到各类美食推荐。

定制：个性化定制是在新的市场环境中企业迫切需要一种新的生产模式，它更贴近于个体的独特需求。在我国开展的个性化定制服务有个性化邮票定制、个性化高档成衣定制。

基本释义：个性化，是一类文学艺术作品中创作具体生动的人物性格的手法，也是典型化的重要方面。和大众化相对，常用来指具有个体特性的需求和服务。

个性化，对应的英语说法有：personalized,customized。个性化本来是指某事物的独特性，很少会用在人的身上。如果非要有人这样用，也无可厚非，总之是形容事物的独特性。

腾讯 QQ 弹窗用到了哪些个性化推荐？

【解密站内个性化推荐之二】个性化推荐背后的逻辑什么

。

围绕商品的站内个性化推荐，根本点是围绕用户在购物生命周期内不同阶段做个性化推荐根据互联网时代的AISAS用户行为模式，用户依次会经历注意到——感兴趣——搜索——购物行为——分享这五个阶段，推荐也是在这五个阶段进行的。

这五个阶段背后又有细分的用户行为。第一阶段：注意到这个过程中，我们需要让用户看到我们的产品，因此在用户浏览首页、超市页、列表页、产品详情页的过程中，就要不遗余力的推荐用户去看我们的商品。

但当用户看到该商品之后，我们需要根据不同的情况作引导区分：情况一：针对不满意当前商品的用户引导。这部分用户由于价格、库存、促销等因素，对当前商品不满意，通常情况下会产生退出。

此时，我们需要针对用户浏览轨迹，做商品浏览引导。因此就会出现“浏览了该商品的用户还浏览了”的个性化推荐。情况二：针对满意当前商品的用户引导。

引导的是让用户下单，但在下单过程中，用户可能会存在犹豫，通常情况下他会对当前的产品不肯定，因此利用群集效应的个性化推荐栏“浏览了该商品的用户最终购买了”就出现了，为了增加集群效应，我们还会用百分比的形式增加消费氛围。

如右图为浏览了华为U500后的站内个性化推荐形式：第二阶段：感兴趣这个阶段，通常我们以激发客户兴趣为主，主要推荐的商品一方面是用户个体浏览过的商品，另一方是根据用户群体浏览行为后最大概率的商品浏览做推荐。

如左图一是针对浏览过商品的直接提醒推荐：通常情况下，直接基于用户的行为商品做推荐，是效果非常好的方法，如京东针对关注商品的价格提醒，如左图二时针对关注商品的价格提醒推荐：第三阶段：搜索站内搜索是用户获取信息的重要手段，并且使用搜索的用户转化率高于全站平均转化率，因此针对搜索的个性化推荐非常有效。

针对搜索的推荐，首先要辨别用户搜索词，对于错拼词和误拼词的提示、对拼音的转化、对无效字符的过滤、去除干扰信息并做分词是主要过程，这个过程中，对字符的处理是关键字。

（这也是百度这些以搜索引擎为主业务的根本）其次是用户在查看搜索结果时的互动。

通常情况下用户会在搜索结果页使用筛选信息，因此制定针对无结果时的数据推荐规则是关键，包括推荐的同一或跨品牌、子品类、父品类的规则。

第四阶段：购物行动购物行动分为三部分，一是用户将商品加入购物车，二是用户提交订单，三是用户完成购物之后。第一部分用户将商品加入购物车。用户将商品加入购物车真的是为了购物嘛？

当然不是，有的人想把购物车作为购物篮，目的是为了本次购买的暂时储存，另外有些人想作为日后购买的暂存只用；有的人想在购物车里面做商品数据罗列和对比；有的人虽然加入购物但还在犹豫不决；有的人虽然加入购物车也想购买，但兜里没钱。

。。非常多的情况，我们这里做推荐想要实现什么目的？1.让用户继续本次购买，2.不仅完成本次购买，还要增加本次购买的商品件数，即做关联销售。

有了这个逻辑，我们知道，针对用户本次的购物车商品，用户可能会购买本商品或有替代性的产品购买，因此针对购物车内商品类似的推荐是必要的；另外，针对购物车内商品的关联销售商品的推荐也是必要的。

因此，会出现“您可能还需要以下商品”、“购物了该商品的用户还购买了”的推荐。第二部分用户提交订单。

到这部分，用户已经完成订单，我们还是要再做一次努力，这次努力的方向是，在确定用户最终购买产品的前提下，进一步做搭配和关联商品推荐，增加用户购买商品次数和购买商品量。

如果网站功能强大，同一个客户短时间内的两次下单，还可以合并成一个订单以减少运营成本。因此，这里会出现“购买了该商品的用户还购买了”第三部分用户完成购物之后。

这个环节是在用户已经提交订单，并且完成整个购物流程。推荐的目的是让用户产生复购，而产生复购的条件是针对用户购买行为的精准推送。

另外，围绕商品的用户行为还包括商品评论、商品晒单、咨询、降价通知、关注等，这些原理相同，都是根据用户对某商品的特殊关注点进行精准个性化推荐。

不是的，我们研究发现，其实用户浏览行为和最终购物行为存在差异性，即用户浏览的并不是最终用户购买的，以价格为例：我们发现用户在不同的品类上，网站关注价格与实际成交价格具有差异性，并且这种差异性在不同品类上表现不同。

有的品类网站关注价格会高于成交价格，有的品类网站关注价格会低于成交价格。

对于用户这种口是心非的行为，如果我们只是一味的按照用户实际浏览数据做个性化推荐，效果必然要打折扣，解决方法是不管在做哪方面推荐，用户的全部行为数据都要计入推荐权重中，购买的购买数据的推荐权重一定要更大。

做分析和做推荐的根本是围绕有成交用户的数据，让没有成交的用户沿着有成交用户的轨迹形成转化。

推荐系统的主要推荐方法

。

基于内容的推荐（Content-basedRecommendation）是信息过滤技术的延续与发展，它是建立在项目的内容信息上作出推荐的，而不需要依据用户对项目的评价意见，更多地需要用机器学习的方法从关于内容的特征描述的事例中得到用户的兴趣资料。

在基于内容的推荐系统中，项目或对象是通过相关的特征的属性来定义，系统基于用户评价对象的特征，学习用户的兴趣，考察用户资料与待预测项目的相匹配程度。

用户的资料模型取决于所用学习方法，常用的有决策树、神经网络和基于向量的表示方法等。基于内容的用户资料是需要有用户的历史数据，用户资料模型可能随着用户的偏好改变而发生变化。

基于内容推荐方法的优点是：1）不需要其它用户的数据，没有冷开始问题和稀疏问题。2）能为具有特殊兴趣爱好的用户进行推荐。3）能推荐新的或不是很流行的项目，没有新项目问题。

4）通过列出推荐项目的内容特征，可以解释为什么推荐那些项目。5）已有比较好的技术，如关于分类学习方面的技术已相当成熟。

缺点是要求内容能容易抽取成有意义的特征，要求特征内容有良好的结构性，并且用户的口味必须能够用内容特征形式来表达，不能显式地得到其它用户的判断情况。

协同过滤推荐（CollaborativeFilteringRecommendation）技术是推荐系统中应用最早和最为成功的技术之一。

它一般采用最近邻技术，利用用户的历史喜好信息计算用户之间的距离，然后利用目标用户的最近邻居用户对商品评价的加权评价值来预测目标用户对特定商品的喜好程度，系统从而根据这一喜好程度来对目标用户进行推荐。

协同过滤最大优点是对推荐对象没有特殊的要求，能处理非结构化的复杂对象，如音乐、电影。

协同过滤是基于这样的假设：为一用户找到他真正感兴趣的内容的好方法是首先找到与此用户有相似兴趣的其他用户，然后将他们感兴趣的内容推荐给此用户。

其基本思想非常易于理解，在日常生活中，我们往往会利用好朋友的推荐来进行一些选择。协同过滤正是把这一思想运用到电子商务推荐系统中来，基于其他用户对某一内容的评价来向目标用户进行推荐。

基于协同过滤的推荐系统可以说是从用户的角度来进行相应推荐的，而且是自动的即用户获得的推荐是系统从购买模式或浏览行为等隐式获得的，不需要用户努力地找到适合自己兴趣的推荐信息，如填写一些调查表格等。

和基于内容的过滤方法相比，协同过滤具有如下的优点：1）能够过滤难以进行机器自动内容分析的信息，如艺术品，音乐等。

2）共享其他人的经验，避免了内容分析的不完全和不精确，并且能够基于一些复杂的，难以表述的概念（如信息质量、个人品味）进行过滤。3）有推荐新信息的能力。

可以发现内容上完全不相似的信息，用户对推荐信息的内容事先是预料不到的。

这也是协同过滤和基于内容的过滤一个较大的差别，基于内容的过滤推荐很多都是用户本来就熟悉的内容，而协同过滤可以发现用户潜在的但自己尚未发现的兴趣偏好。

4）能够有效的使用其他相似用户的反馈信息，较少用户的反馈量，加快个性化学习的速度。虽然协同过滤作为一种典型的推荐技术有其相当的应用，但协同过滤仍有许多的问题需要解决。

最典型的问题有稀疏问题（Sparsity）和可扩展问题（Scalability）。

基于关联规则的推荐（AssociationRule-basedRecommendation）是以关联规则为基础，把已购商品作为规则头，规则体为推荐对象。

关联规则挖掘可以发现不同商品在销售过程中的相关性，在零售业中已经得到了成功的应用。

管理规则就是在一个交易数据库中统计购买了商品集X的交易中有多大比例的交易同时购买了商品集Y，其直观的意义就是用户在购买某些商品的时候有多大倾向去购买另外一些商品。

比如购买牛奶的同时很多人会同时购买面包。算法的第一步关联规则的发现最为关键且最耗时，是算法的瓶颈，但可以离线进行。其次，商品名称的同义性问题也是关联规则的一个难点。

由于各种推荐方法都有优缺点，所以在实际中，组合推荐（HybridRecommendation）经常被采用。研究和应用最多的是内容推荐和协同过滤推荐的组合。

最简单的做法就是分别用基于内容的方法和协同过滤推荐方法去产生一个推荐预测结果，然后用某方法组合其结果。

尽管从理论上有很多种推荐组合方法，但在某一具体问题中并不见得都有效，组合推荐一个最重要原则就是通过组合后要能避免或弥补各自推荐技术的弱点。

在组合方式上，有研究人员提出了七种组合思路：1）加权（Weight）：加权多种推荐技术结果。2）变换（Switch）：根据问题背景和实际情况或要求决定变换采用不同的推荐技术。

3）混合（Mixed）：同时采用多种推荐技术给出多种推荐结果为用户提供参考。4）特征组合（Featurecombination）：组合来自不同推荐数据源的特征被另一种推荐算法所采用。

5）层叠（Cascade）：先用一种推荐技术产生一种粗糙的推荐结果，第二种推荐技术在此推荐结果的基础上进一步作出更精确的推荐。

6）特征扩充（Featureaugmentation）：一种技术产生附加的特征信息嵌入到另一种推荐技术的特征输入中。

7）元级别（Meta-level）：用一种推荐方法产生的模型作为另一种推荐方法的输入。

个性化推荐系统的基本框架

。

个性化推荐系统的基本框架如下：参考国内最具代表性的百分点推荐系统框架来讲，个性化推荐系统的推荐引擎在个性化算法的框架基础之上，还引入场景引擎、规则引擎和展示引擎，形成全新的百分点推荐引擎的技术框架，系统通过综合并利用用户的兴趣偏好、属性，商品的属性、内容、分类，以及用户之间的社交关系等等，挖掘用户的喜好和需求，主动向用户推荐其感兴趣或者需要的商品。

基于云计算的个性化推荐平台。消除数据孤岛，建立基于用户全网兴趣偏好轨迹的精准云计算分析模型，打通用户在多个网站的兴趣偏好，形成成用户行为偏好大数据中心。多种智能算法库。

基于多维度的数据挖掘、统计分析，进行算法模型的建立和调优。综合利用基于内容、基于用户行为和基于社交关系网络的多种算法，为用户推荐其喜欢的商品、服务或内容。

电子商务推荐系统的主要算法有：（1）基于关联规则的推荐算法（AssociationRule-basedRecommendation）（2）基于内容的推荐算法(Content-basedRecommendation)内容过滤主要采用自然语言处理、人工智能、概率统计和机器学习等技术进行过滤。

通过相关特征的属性来定义项目或对象,系统基于用户评价对象的特征学习用户的兴趣,依据用户资料与待预测项目的匹配程度进行推荐，努力向客户推荐与其以前喜欢的产品相似的产品。

如新闻组过滤系统NewsWeeder。基于内容过滤的系统其优点是简单、有效。尤其对于推荐系统常见的冷启动（ColdStart）问题，Content-based方法能够比较好的进行解决。

因为该算法不依赖于大量用户的点击日志，只需要使用待推荐对象（item）本身的属性、类目、关键词等特征，因此该方法在待推荐对象数量庞大、变化迅速、积累点击数稀少等应用场景下有较好的效果。

但该方法的缺点是对推荐物的描述能力有限，过分细化，推荐结果往往局限与原对象相似的类别中，无法为客户发现新的感兴趣的资源,只能发现和客户已有兴趣相似的资源。

这种方法通常被限制在容易分析内容的商品的推荐，而对于一些较难提取出内容的商品，如音乐CD、电影等就不能产生满意的推荐效果。

（3）协同过滤推荐算法（CollaborativeFilteringRecommendation）协同过滤是在信息过滤和信息系统中正迅速成为一项很受欢迎的技术。

与传统的基于内容过滤直接分析内容进行推荐不同，协同过滤分析用户兴趣，在用户群中找到指定用户的相似（兴趣）用户，综合这些相似用户对某一信息的评价，形成系统对该指定用户对此信息的喜好程度预测。

与传统文本过滤相比，协同过滤有下列优点:1）能够过滤难以进行机器自动基于内容分析的信息。如艺术品、音乐;2）能够基于一些复杂的，难以表达的概念（信息质量、品位)进行过滤;3）推荐的新颖性。

正因为如此，协同过滤在商业应用上也取得了不错的成绩。Amazon，CDNow，MovieFinder，都采用了协同过滤的技术来提高服务质量。

协同过滤推荐算法，可进一步细分为基于用户的协同过滤（user-basedcollaborativefiltering）和基于物品的协同过滤（item-basedcollaborativefiltering）。

基于用户的协同过滤的基本思想是：根据所有用户对物品或者信息的偏好，发现与当前用户口味和偏好相似的“邻居”用户群，在一般的应用中是采用计算“K-邻居”的算法；然后，基于这K个邻居的历史偏好信息，为当前用户进行物品的推荐。

基于物品的协同过滤的基本原理也类似，该方法根据用户和物品直接历史点击或购买记录，来计算物品和物品之间的相似度，然后根据用户的历史偏好的物品信息，将挖掘到的类似的物品推荐给用户基于用户的协同过滤和基于物品的协同过滤各自有其适用场景。

总的来看，协同过滤方法的缺点是:1）稀疏性问题：如果用户对商品的评价非常稀疏，这样基于用户的评价所得到的用户间的相似性可能不准确;2）可扩展性问题：随着用户和商品的增多，系统的性能会越来越低;3）冷启动问题：如果从来没有用户对某一商品加以评价，则这个商品就不可能被推荐。

4）长尾问题：对微小市场的推荐。因此，现在的电子商务推荐系统都采用了几种技术相结合的推荐技术。

今日头条的个性化推荐是基于哪些具体数据

。

今日头条的slogan很清楚的告诉了我们，它的文章推荐机制是个性化推荐机制，最大化保证推送的精准度，尽量保证对的文章推荐给对的人，归根到底这个推荐算法关键是还在于对海量用户行为的数据分析与挖掘，个性化推荐的平台有很多，也许各家算法略有不同，但最终目的都是殊途同归，为实现最精准的内容推荐。

今日头条的文章个性化推荐机制主要是：相似文章主题相似性的推荐：通过获取与用户阅读过文章的相似文章来进行推荐。基于相同城市的新闻：对于拥有相同地理信息的用户，会推荐与之相匹配的城市的热门文章。

基于文章关键词的推荐：对于每篇文章，提取关键词，作为描述文章内容的一种特征。然后与用户动作历史的文章关键词进行匹配推荐。

基于站内热门文章的普适性推荐：根据站内用户阅读习惯，找出热门文章，对所有没有阅读过该文章的用户进行推荐。基于社交好友关系的阅读习惯推荐：根据用户的站外好友，获取站外好友转发评论或发表过的文章进行推荐。

基于用户长期兴趣关键词的推荐：通过比较用户短期和长期的阅读兴趣主题和关键词进行推荐。基于相似用户阅读习惯的列表推荐：计算一定时期内的用户动作相似性，进行阅读内容的交叉性推荐。

基于站点分布来源的内容推荐：通过用户阅读的文章来源分布为用户计算出20个用户喜欢的新闻来源进行推荐。麻烦请采纳，谢谢。