推荐系统
mercies
这个作者很懒,什么都没留下…
展开
-
大数据的Lambda架构
Lambda架构Lambda架构提供了一个结合实时数据和Hadoop预先计算(离线计算批处理层)的数据环境的混合平台,以提供一个实时的数据试图。分层架构:批处理层(离线处理数据),实时处理层(与批处理层数据采集点击和访问的行为),服务层(收集用户信息等):把批处理曾的数据进行处理,进行前端的互动。一 批处理层:通过HDFS进行数据的存储,然后mapreduce进行计算(也可换成可用spark计算)**注:**mapreduce是作业的独立调度的,基于磁盘存储的,有大量中间结果写入HDFSsp原创 2020-06-04 20:25:34 · 415 阅读 · 0 评论 -
推荐系统的设计
我们需要了解:1,需求分析和用户调研用户:*新用户->兴趣未知,着重促销,多样性,新颖性:1.尽可能收集新用户的信息:初步判断用户信息特点(定义其兴趣,然后把这些标签类型的内容推荐给他)2.用户自己填写,选择标签。他选择标签下的商品推荐给他。*老用户->兴趣已知,着重个性化(千人千面)*主流用户,小众群体?主流用户需要把热度东西推荐给他,小众群体要注重额外的信息,注重新颖度等。推荐什么:*价格一致,用户经常购买的类别书,电影,音乐,文章->以用户对内容主题的兴趣为主原创 2020-05-29 18:36:08 · 1243 阅读 · 0 评论 -
推荐系统工作原理及推荐系统和搜索引擎的
推荐系统和搜索引擎相同点:帮助快速发现有用信息的工具不同点:搜索引擎需要用户主动提供关键词来寻找信息推荐系统不需要用户提供明确的需求,而是通过分析用户的历史行为给用户的兴趣建模(用户画像)关系:搜索引擎满足了用户有明确目的时的主动查找需求推荐系统能够在用户没有明确目的的时候,帮助他们发现他们感兴趣的新内容推荐系统的工作原理以看电影为例:*向朋友咨询,种方式称为社会化推荐,即让好友给自己推荐物品。*打开搜索引擎,输入自己喜欢的演员名,然后看看返回结果中还有什么电影是自己没有看过的。这种称原创 2020-05-29 17:25:22 · 1441 阅读 · 0 评论 -
推荐系统的技术栈
存储系统:Habse是基于HDFS的一种数据库,Hbase的文件是存储在HDFS系统之上的。(解决了数据存储问题)采集组件:sqoop(针对RDMS关系型数据库的数据进行采集,订单,交易,还有浏览,收藏的)flume(实时的,比如用户点击的网页的图片和商品,这种点击流)kaffka(第三方消息队列框架,可靠性好)storm:流处理Yarn:对资源进行分配,基于管理员配置的策略HIve,Pig,Spark对结构化数据进行存储MLlib:数据挖掘,实现推荐Oozie:整体调度Zookeepe.原创 2020-05-29 16:41:01 · 968 阅读 · 0 评论 -
一个主机启动两个(或多个)redis的方法
第一个redis很容易启动,他的默认port是6379,但是启动第二个时的方法为:复制一份原来的redis文件,如redis1在redis1 文件中找到并修改redis.windows.conf中的port为6380后,进入redis1目录,在命令行中输入下面的命令redis-server --service-install redis.windows.conf --service-name...原创 2020-03-27 15:06:08 · 2350 阅读 · 0 评论 -
node2vec在社交网络推荐中的应用(二)
2.Word2Vec在上一步中,我们已经获得了点的序列样本,那么下一步我们需要解决的问题是,如何根据上点序列生成每个点的特征向量,即我们前面提到的“坐标”。我们先抛开这个问题,聚焦在Word2Vec算法的意义上。Word2Vec已成为现在主流的特征构造方法。Word2Vec是从大量文语料中以无监督的方式学习语义知识的一种模型。它被的大量的运用在自然语言处理(NLP)中。Word2Vec的核心...原创 2020-02-14 19:35:07 · 357 阅读 · 0 评论 -
node2vec在社交网络推荐中的应用(一)
对于新浪微博,微信,qq这样大规模的社交关系,离线计算好用户的相似度并存储下来,供线上推荐系统使用,显然不太合理。那么能否用一个坐标表示来描述用户在社交网络中的位置?这样只需提前计算好用户坐标。线上计算用户之间的相似度时,只要计算坐标的距离或者用余弦相似度即可我们可以通过network embedding的方法来计算用户的坐标。network embedding 就是一种图特征的表示学习方法,他从...原创 2020-02-14 16:49:29 · 734 阅读 · 0 评论 -
推荐系统基础算法之基于内容的推荐算法
推荐系统基础算法之基于内容的推荐算法基于内容的推荐算法基于内容的推荐算法的基本方法可归纳为以下四个步骤1. **特征(内容)提取** ,提取每个待推荐物品的特征(内容属性)。例如电影、书籍、商品的分类标签等。这些特征往往分为两种:结构化的特征和非结构化的特征。2. **用户偏好计算**,利用一个用户过去的显式评分或者隐式操作记录,计算用户不同特征(内容属性)上的偏好分数;3. **内容召回** ...原创 2020-02-04 18:43:52 · 2485 阅读 · 0 评论