![](https://img-blog.csdnimg.cn/2019092715111047.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
推荐系统
文章平均质量分 86
个性化推荐系统、人工智能、大数据
chaser&upper
西电CS硕士在读,热爱Coding,喜欢分享,欢迎您与我交流~
展开
-
Hadoop 概念扩展
Hadoop 概念扩展Hadoop生态系统HDFS 读写流程& 高可用Hadoop发行版的选择大数据产品与互联网产品结合大数据应用--数据分析数据分析案例课程目标:知道hadoop生态组成了解hdfs读写流程说出Hadoop发行版本的选择Hadoop生态系统狭义的Hadoop VS 广义的Hadoop广义的Hadoop:指的是Hadoop生态系统,Hadoop生态系统是一个很庞大的概念,hadoop是其中最重要最基础的一个部分,生态系统中每一子系统只解决某一个特定的问题域(甚至可原创 2021-12-02 10:09:36 · 239 阅读 · 0 评论 -
MapReduce 实战
MapReduce实战MapReduce实战利用MRJob编写和运行MapReduce代码运行MRJOB的不同方式mrjob 实现 topN统计(实验)MRJOB 文件合并MapReduce原理详解MapReduce架构MapReduce实战利用MRJob编写和运行MapReduce代码mrjob 简介使用python开发在Hadoop上运行的程序, mrjob是最简单的方式mrjob程序可以在本地测试运行也可以部署到Hadoop集群上运行如果不想成为hadoop专家, 但是需要利用Hadoo原创 2021-12-02 10:04:49 · 798 阅读 · 0 评论 -
分布式处理框架 MapReduce
分布式处理框架 MapReduce什么是MapReduceMapReduce编程模型Hadoop Streaming 实现wordcount (实验 了解)什么是MapReduce源于Google的MapReduce论文(2004年12月)Hadoop的MapReduce是Google论文的开源实现MapReduce优点: 海量数据离线处理&易开发MapReduce缺点: 实时流式计算MapReduce编程模型MapReduce分而治之的思想数钱实例:一堆钞票,各种面值分别原创 2021-12-02 09:59:34 · 418 阅读 · 0 评论 -
资源调度框架 YARN
YARN&MapReduce资源调度框架 YARN什么是YARNYARN产生背景YARN的架构和执行流程YARN环境搭建课程目标:了解YARN概念和产生背景了解MapReduce概念说出YARN执行流程说出MapReduce原理独立完成Mrjob实现wordcount完成提交作业到YARN上执行资源调度框架 YARN什么是YARNYet Another Resource Negotiator, 另一种资源协调者通用资源管理系统为上层应用提供统一的资源管理和调度,为集群在原创 2021-12-02 09:57:13 · 220 阅读 · 0 评论 -
分布式文件系统 HDFS
分布式文件系统 HDFSHDFS的使用HDFS shell操作HDFS shell操作练习HDFS设计思路HDFS架构HDFS环境搭建课程目标:知道什么是hdfs说出hdfs的架构能够掌握hdfs的环境搭建能够掌握hdfs shell的基本使用知道hdfs shell的优缺点HDFS的使用启动HDFS来到$HADOOP_HOME/sbin目录下执行start-dfs.sh[hadoop@hadoop00 sbin]$ ./start-dfs.sh可以看到 nameno原创 2021-12-02 09:54:11 · 462 阅读 · 0 评论 -
Hadoop 概述
Hadoop 概述Hadoop概述1.1 什么是Hadoop1.2 Hadoop核心组件1.3 Hadoop优势Hadoop概述课程目标:知道Hadoop的概念及发展历史说出hadoop的核心组件知道hadoop的优势1.1 什么是HadoopHadoop名字的由来作者:Doug cuttingHadoop项目作者的孩子给一个棕黄色的大象样子的填充玩具的命名Hadoop的概念:Apache™ Hadoop® 是一个开源的, 可靠的(reliable), 可扩展原创 2021-12-02 09:49:39 · 1414 阅读 · 0 评论 -
大数据生态课堂纪要
大数据生态课堂纪要Hadoop 概念Hadoop组件HDFSyarn 架构MapReduceHadoop发型版本选择Hadoop 概念分布式的计算框架 可靠 可扩展可扩展 集群可以上万台,分布式计算 分布式存储可靠high-availability(HA)Hadoop可以做啥:数据仓库数据库一般只保存数据的最新状态,极个别重要的值会保存历史版本数据仓库 会保存所有的历史版本 只记录 很少更新 删除PB级数据的存储 处理 分析 统计日志分析数据挖掘BI原创 2021-12-02 09:44:55 · 174 阅读 · 0 评论 -
推荐系统基础
推荐系统基础Baseline:基准预测数据加载计算全局的平均分初始化bu bi利用梯度下降优化预测评分实现类LFM代码实现数据合并TF-idf为每一部电影提取关键字word2Vec词向量模型构建并推荐电影Baseline:基准预测梯度下降优化baseline损失import pandas as pdimport numpy as np数据加载dtype = [('userId', np.int32), ('movieId', np.int32), ('rating', np.float32)]原创 2021-11-05 07:46:25 · 568 阅读 · 0 评论 -
推荐系统基础-纪要
推荐系统纪要推荐概念Lambda 架构介绍推荐算法架构推荐模型构建流程协同过滤思路介绍相似度计算使用不同相似度计算方式实现协同过滤协同过滤 基于模型的算法推荐系统的评价推荐系统的冷启动基于内容的推荐基于内容的推荐 基于物品的协同过滤 区别矩阵分解基于内容的推荐基于内容推荐流程词向量7天 基础推荐系统相关概念 基本算法推荐算法原生python 实现推荐算法lambda架构 5天hadoophive hbasespark corespark sql spark streaming案原创 2021-11-04 18:43:45 · 241 阅读 · 0 评论 -
【推荐算法】基于内容的推荐算法(Content-Based)
基于内容的推荐算法(Content-Based)基于内容的推荐算法(Content-Based)简介基于内容的推荐实现步骤问题:物品的标签来自哪儿?基于内容推荐的算法流程:物品冷启动处理:基于内容的电影推荐基于内容的推荐算法(Content-Based)简介基于内容的推荐方法是非常直接的,它以物品的内容描述信息为依据来做出的推荐,本质上是基于对物品和用户自身的特征或属性的直接分析和计算。例如,假设已知电影A是一部喜剧,而恰巧我们得知某个用户喜欢看喜剧电影,那么我们基于这样的已知信息,就可以将电影A推原创 2021-11-04 18:31:33 · 871 阅读 · 0 评论 -
关联规则挖掘算法(二)FP-Growth算法
频繁项集挖掘-FP-Growth算法FP-Growth算法FP-Growth原理分析算法实现FP-Growth算法FP-Growth(Frequent Patterns)相比于Apriori是一种更加有效的频繁项集挖掘算法,FP-Growth算法只需要对数据库进行两次扫描,而Apriori算法对于每次产生的候选项集都会扫描一次数据集来判断是否频繁,因此当数据量特别巨大,且扫描数据库的成本比较高时,FP-Growth的速度要比Apriori快。但是FP-Growth只能用于发现频繁项集,不能用于发现关联原创 2021-11-04 18:30:08 · 1162 阅读 · 0 评论 -
关联规则挖掘算法(一)Apriori算法
关联规则挖掘算法(一)Apriori算法关联规则挖掘算法(一)Apriori算法Apriori算法原理Apriori算法实现关联规则挖掘算法(一)Apriori算法Apriori算法原理Apriori算法是著名的关联规则挖掘算法。假如我们在经营一家商品种类并不多的杂货店,我们对哪些经常在一起被购买的商品非常感兴趣。我们只有四种商品:商品0、商品1、商品2、商品3。那么所有可能被一起购买的商品组合都有哪些?这些商品组合可能只有一种商品,比如商品0,也可能包括两种、三种或所有四种商品。但我们不关心某原创 2021-11-04 18:23:56 · 1032 阅读 · 0 评论 -
【推荐算法】基于关联规则的推荐
基于关联规则的推荐基于关联规则的推荐关联分析关联性衡量指标基于关联规则的推荐基于关联规则的推荐思想类似基于物品的协同过滤推荐“啤酒与尿布”关联分析中最有名的例子就是“啤酒与尿布”。据报道,在美国沃尔玛超市会发现一个很有趣的现象:货架上啤酒与尿布竟然放在一起售卖,这看似两者毫不相关的东西,为什么会放在一起售卖呢?原来,在美国,妇女们经常会嘱咐她们的丈夫下班以后给孩子买一点尿布回来,而丈夫在买完尿布后,大都会顺手买回一瓶自己爱喝的啤酒(由此看出美国人爱喝酒)。商家通过对一年多的原始交易记录进行详细的原创 2021-11-04 17:44:21 · 834 阅读 · 0 评论 -
基于内容的电影推荐:物品冷启动处理
基于内容的电影推荐:物品冷启动处理基于内容的电影推荐:物品冷启动处理word2vec原理简介Word2Vec两个重要模型:CBOW和Skip-GramWord2Vec使用Doc2Vec使用基于内容的电影推荐:物品冷启动处理利用Word2Vec可以计算电影所有标签词之间的关系程度,可用于计算电影之间的相似度word2vec原理简介word2vec是google在2013年开源的一个NLP(Natural Language Processing自然语言处理) 工具,它的特点是将所有的词向量化,这样词原创 2021-11-04 17:40:32 · 367 阅读 · 0 评论 -
基于内容的电影推荐:物品画像&用户画像&为用户产生TOP-N推荐结果
基于内容的电影推荐:物品画像基于内容的电影推荐:物品画像基于TF-IDF的特征提取技术算法原理算法举例加载数据集基于TF·IDF提取TOP-N关键词,构建电影画像完善画像关键词基于内容的电影推荐:用户画像用户画像建立基于内容的电影推荐:为用户产生TOP-N推荐结果基于内容的电影推荐:物品画像物品画像构建步骤:利用tags.csv中每部电影的标签作为电影的候选关键词利用TF·IDF计算每部电影的标签的tfidf值,选取TOP-N个关键词作为电影画像标签将电影的分类词直接作为每部电影的画像标签基原创 2021-11-04 17:35:52 · 613 阅读 · 0 评论 -
【推荐算法】Model-Based 协同过滤算法
基于模型的协同过滤推荐算法Model-Based 协同过滤算法基于K最近邻的协同过滤推荐基于回归模型的协同过滤推荐基于矩阵分解的CF算法Model-Based 协同过滤算法随着机器学习技术的逐渐发展与完善,推荐系统也逐渐运用机器学习的思想来进行推荐。将机器学习应用到推荐系统中的方案真是不胜枚举。以下对Model-Based CF算法做一个大致的分类:基于分类算法、回归算法、聚类算法基于矩阵分解的推荐基于神经网络算法基于图模型算法接下来我们重点学习以下几种应用较多的方案:基于K最近邻的原创 2021-11-04 17:27:10 · 566 阅读 · 0 评论 -
基于矩阵分解的协同过滤算法
基于矩阵分解的协同过滤算法基于矩阵分解的CF算法实现(一):LFMLFM原理解析损失函数随机梯度下降法优化基于矩阵分解的CF算法实现(二):BiasSvdBiasSvd损失函数随机梯度下降法优化基于矩阵分解的CF算法实现(一):LFMLFM也就是前面提到的Funk SVD矩阵分解LFM原理解析LFM(latent factor model)隐语义模型核心思想是通过隐含特征联系用户和物品,如下图:P矩阵是User-LF矩阵,即用户和隐含特征矩阵。LF有三个,表示共总有三个隐含特征。Q矩阵是LF原创 2021-11-04 17:25:19 · 2246 阅读 · 0 评论 -
基于回归模型的协同过滤推荐算法
基于回归模型的协同过滤推荐基于回归模型的协同过滤推荐Baseline:基准预测方法一:随机梯度下降法优化step 1:梯度下降法推导step 2:随机梯度下降step 3:算法实现Step 4: 准确性指标评估方法二:交替最小二乘法优化step 1: 交替最小二乘法推导step 2: 交替最小二乘法应用step 3: 算法实现Step 4: 准确性指标评估基于回归模型的协同过滤推荐如果我们将评分看作是一个连续的值而不是离散的值,那么就可以借助线性回归思想来预测目标用户对某物品的评分。其中一种实现策略被称原创 2021-11-04 17:07:17 · 494 阅读 · 0 评论 -
【推荐系统案例】基于协同过滤的电影推荐
案例--基于协同过滤的电影推荐1. 数据集下载2. 数据集加载3. 相似度计算4. User-Based CF 预测评分算法实现5. Item-Based CF 预测评分算法实现前面我们已经基本掌握了协同过滤推荐算法,以及其中两种最基本的实现方案:User-Based CF和Item-Based CF,下面我们将利用真是的数据来进行实战演练。案例需求演示效果分析案例1. 数据集下载MovieLens Latest Datasets Small建议下载ml-latest-small.zip,数据原创 2021-10-28 14:36:47 · 5124 阅读 · 0 评论 -
推荐系统-冷启动问题
推荐系统的冷启动问题推荐系统冷启动概念用户冷启动:如何为新用户做个性化推荐物品冷启动:如何将新物品推荐给用户(协同过滤)系统冷启动:用户冷启动+物品冷启动本质是推荐系统依赖历史数据,没有历史数据⽆法预测⽤户偏好用户冷启动1.收集⽤户特征⽤户注册信息:性别、年龄、地域设备信息:定位、⼿机型号、app列表社交信息、推⼴素材、安装来源2 引导用户填写兴趣3 使用其它站点的行为数据, 例如腾讯视频&QQ音乐 今日头条&抖音原创 2021-10-26 21:19:43 · 309 阅读 · 0 评论 -
推荐系统-评估
推荐系统评估好的推荐系统可以实现用户, 服务提供方, 内容提供方的共赢显示反馈和隐式反馈 显式反馈 隐式反馈 例子 电影/书籍评分 是否喜欢这个推荐 播放/点击 评论 下载 购买 准确性 高 低 数量 少 多 获取成本 高 低 常用评估指标• 准确性 • 信任度• 满原创 2021-10-26 21:16:21 · 181 阅读 · 0 评论 -
推荐算法-协同过滤代码问题汇总
推荐算法-协同过滤代码问题汇总问题一问题二问题三问题一from sklearn.metrics import jaccard_similarity_score无法引用:jaccard_similarity_score可能的问题:库的版本不统一解决 : 版本更新问题,以后调用杰卡德函数直接使用下面的调用代码from sklearn.metrics import jaccard_score问题二报错代码:pairwise_distances(df, metric="jaccard")错原创 2021-10-25 20:35:07 · 5156 阅读 · 0 评论 -
【个性化推荐系统】推荐算法
推荐算法1. 推荐模型构建流程2. 最经典的推荐算法:协同过滤推荐算法(Collaborative Filtering)3. 相似度计算(Similarity Calculation)4. 协同过滤推荐算法代码实现5. 使用协同过滤推荐算法对用户进行评分预测6. 基于模型的方法推荐模型构建流程推荐算法概述基于协同过滤的推荐算法协同过滤实现1. 推荐模型构建流程Data(数据)->Features(特征)->ML Algorithm(机器学习算法)->Prediction O原创 2021-10-25 20:26:52 · 5060 阅读 · 0 评论 -
【个性化推荐系统】架构设计
推荐系统设计1. 推荐系统要素2. 推荐系统架构1. 推荐系统要素UI 和 UE(前端界面)数据 (Lambda架构)业务知识算法2. 推荐系统架构推荐系统整体架构大数据Lambda架构由Twitter工程师Nathan Marz(storm项目发起人)提出Lambda系统架构提供了一个结合实时数据和Hadoop预先计算的数据环境和混合平台, 提供一个实时的数据视图分层架构批处理层数据不可变, 可进行任何计算, 可水平扩展高延迟 几分钟~几小时(计原创 2021-10-14 21:30:41 · 572 阅读 · 0 评论 -
【个性化推荐系统】简介
个性化推荐系统简介1. 推荐系统简介2. 推荐系统产生背景3. 推荐系统的作用4. 推荐系统和Web项目的区别1. 推荐系统简介 个性化推荐 (推荐系统) 经历了多年的发展,已经成为互联网产品的标配,也是AI成功落地的分支之一,在电商(淘宝/京东)、资讯(今日头条/微博)、音乐(网易云音乐/QQ音乐)、短视频(抖音/快手)等热门应用中,推荐系统都是核心组件之一。2. 推荐系统产生背景信息过载 & 用户需求不明确分类目录(1990s):覆盖少量热门网站。Hao123 Y原创 2021-10-14 21:24:39 · 789 阅读 · 0 评论