【大数据技术与推荐系统(9)】推荐系统与Lambda架构

最新推荐文章于 2024-02-17 10:21:25 发布
最新推荐文章于 2024-02-17 10:21:25 发布
阅读量614 收藏
点赞数
分类专栏： 推荐系统实践
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30057549/article/details/104528918
版权

文章目录

推荐系统与Lambda架构

背景介绍

  • 电子商务网站
  • 浏览记录、购买记录等
  • 推荐平台
  • 将各种数据整合在一起，以便于挖掘，推荐和广告

推荐系统基本架构

在这里插入图片描述
数据加载

  • 数据源多样性
    • HDFS：用户点击日志等
    • MySQL/Oracle：用户基本信息、用户购买记录等
  • 数据加载
    • 将不同的数据源中的数据导入Hbase
    • Hbase中以用户为单位组织数据
  • 实现方案
    • MapReduce并行导入
      • 问题：与MySQL并发连接数过多，怎么办？（代理！AmoebaforMySQL）
    • 多线程自己实现

HBase数据组织

  • 以用户为单位组织数据
    • Rowkey 为Uid
  • 将表分成多个column family
    • Basic features ：age ，birthday ，address,….
    • Click/buy behavior: ids
  • 利用hbase 特有的特性
    • 设置最大版本数 ， 自动删除过期数据
    • 根据uid 获取某用户所有信息
    • 易于扩展

场景

  • 基于规则的推荐
    • 北京地区 ， 年龄在18~25 岁的女士 ， 推荐某个商品
  • 基于模型的广告推荐
    • 逻辑回归 ：
      • 输入性别 ， 年龄 ， 点击和购买记录
      • 是否会购买商品X
  • 计算模型
    • MapReduce 或Spark

导入服务层

  • 为什么不直接让Hbase提供服务
    • RegionServer挂掉，一段时间内不能对外服务
    • HBase负载过重
  • 可选的服务层
    • Memcached、redis
      • 自己进行sharding，replication等
    • Cassandra、couchbase
      • 自动sharding和replication
      • 如何调优，运维等

推荐平台基本架构改进：LA

在这里插入图片描述

分布式数据收集

推荐系统数据收集背景

背景介绍

  • 推荐系统数据收集需求：
    • 将各种数据收集到一个中央化的存储系统中
      • 有利于进行集中式的数据分析与数据共享
  • 用户行为数据是多样化的 ：
    • 用户访问日志
    • 产品信息
    • 用户基本信息
  • 推荐系统数据收集难点 ：
    • 数据分散在各个离散的设备上
    • 数据保存在传统的存储设备和系统中

常见数据来源

  • 分散的数据源（由不同系统组件产生，部署在不同机器上）：
    • 用户访问日志
    • 用户购买日志
    • 用户收藏日志
    • 用户搜索日志
  • 关系型数据：
    • 用户注册信息：保存在关系型数据库MySQL、Oracle等

常见的开源数据收集系统

  • 数据收集
    • Flume/ /Scribe
  • 传统数据库与Hadoop 同步
    • Sqoop

Flume

  • 由Cloudera公司开源
  • 分布式、可靠、高可用的海量日志采集系统
  • 数据源可定制，可扩展
  • 数据存储系统可定制，可扩展
  • 中间件：屏蔽了数据源和数据存储系统的异构性

Flume特点

  • 可靠性
    • 保证数据不丢失
  • 可扩展性
    • 各组件数目可扩展
  • 高性能
    • 吞吐率很高，能满足海量数据收集需求
  • 可管理性
    • 可动态增加和删除组件
  • 文档丰富，社区活跃
    • 已成为Hadoop生态系统标配

Flume两个版本

  • Flume OG
    • OG：“Original Generation”
    • 0.9.x或cdh3以及更早版本
    • 由agent、collector、master等组件构成
  • Flume NG
    • NG：“Next/New Generation”
    • 1.x或cdh4以及之后的版本
    • 由Agent、Client等组件构成
  • 为什么要推出NG 版本
    • 精简代码
    • 架构简化

FlumeOG基本架构

在这里插入图片描述
在这里插入图片描述
Flume NG核心概念

  • Event
  • Client
  • Agent
    • Source
    • Channel
    • Sink
    • 其他组件 ：Interceptor 、Channel Selector 、Sink Processor

Event

  • Event 是Flume 数据传输的基本单元
  • Flume 以事件的形式将数据从源头传送到最终的目的
  • Event 由可选的header和载有数据的一个byte array构成
    • 载有的数据对flume是不透明的
    • Header是容纳了key-value字符串对的无序集合，key在集合内是唯一的
    • Header可以在上下文路由中使用扩展

Client

  • Client是一个将原始log包装成events并且发送它们到一个或多个agent的实体。
  • 目的是从数据源系统中解耦Flume
  • 在flume的拓扑结构中不是必须的
  • Client实例
    • Flume log4j Appender
    • 可以使用Client SDK (org.apache.flume.api)定制特定的Client

Agent

  • 一个Agent包含Source, Channel, Sink和其他组件；
  • 它利用这些组件将events从一个节点传输到另一个节点或最终目的；
  • Agent是flume流的基础部分；
  • Flume为这些组件提供了配置、生命周期管理、监控支持
    在这里插入图片描述

Agent之Source

  • Source负责接收event或通过特殊机制产生event，并将events批量的放到一个或多个Channel
  • 包含event驱动和轮询2种类型
  • 不同类型的Source:
    • 与系统集成的Source: Syslog, Netcat
    • 自动生成事件的Source: Exec
    • 用于Agent和Agent之间通信的IPC Source: Avro、Thrift
  • Source必须至少和一个channel关联

Agent之Channel

  • Channel位于Source和Sink之间，用于缓存event；
  • 当Sink成功将event发送到下一跳的channel或最终目的，event从Channel移除。
  • 不同的Channel提供的持久化水平也是不一样的:
    • Memory Channel: volatile
    • File Channel: 基于WAL（预写式日志Write-Ahead Logging）实现
    • JDBC Channel: 基于嵌入Database实现
  • Channel支持事务，提供较弱的顺序保证
  • 可以和任何数量的Source和Sink工作

Agent之Sink

  • Sink负责将event传输到下一跳或最终目的，成功完成后将event从channel移除。
  • 不同类型的Sink:
    • 存储event到最终目的的终端Sink. 比如: HDFS, HBase
    • 自动消耗的Sink. 比如: Null Sink
    • 用于Agent间通信的IPC sink: Avro
  • 必须作用于一个确切的channel

Agent之其他重要组件

  • Interceptor
    • 作用于Source，按照预设的顺序在必要地方装饰和过滤events
  • Channel Selector
    • 允许Source基于预设的标准，从所有Channel中，选择一个或多个Channel
  • Sink Processor:
    • 多个Sink可以构成一个Sink Group。Sink Processor可以通过组中所有Sink实现负载均衡；也可以在一个Sink失败时转移到另一个

常用拓扑实例

在这里插入图片描述
第一层配置实例

a1.channels = c1
a1.sources = r1
a1.sinks = k1 k2
a1.sinkgroups = g1
a1.sinkgroups.g1.processor.type = LOAD_BALANCE
a1.sinkgroups.g1.processor.selector = ROUND_ROBIN
a1.sinkgroups.g1.processor.backoff = true
a1.channels.c1.type = FILE
a1.sources.r1.channels = c1
a1.sources.r1.type = AVRO
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 41414

a1.sinks.k1.channel = c1
a1.sinks.k1.type = AVRO
a1.sinks.k1.hostname = a21.example.org
a1.sinks.k1.port = 41414
a1.sinks.k2.channel = c1
a1.sinks.k2.type = AVRO
a1.sinks.k2.hostname = a22.example.org
a1.sinks.k2.port = 41414

第二层配置实例

a2.channels = c1
a2.sources = r1
a2.sinks = k1
a2.channels.c1.type = FILE
a2.sources.r1.channels = c1
a2.sources.r1.type = AVRO
a2.sources.r1.bind = 0.0.0.0
a2.sources.r1.port = 41414
a2.sinks.k1.channel = c1
a2.sinks.k1.type = HDFS
a2.sinks.k1.hdfs.path = hdfs://namenode.example.org
a2.sinks.k1.hdfs.fileType = DataStream

Sqoop

Sqoop：SQL-to-Hadoop
连接 传统关系型数据库 和 Hadoop 的桥梁
把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS、HBase 和 Hive) 中；
把数据从 Hadoop 系统里抽取并导出到关系型数据库里
利用MapReduce 加快数据传输速度
批处理方式进行数据传输

在这里插入图片描述
Sqoop优势

高效、可控地利用资源
任务并行度 ， 超时时间等
数据类型映射与转换
可自动进行 ， 用户也可自定义
支持多种数据库
MySQL
Oracle
PostgreSQL
在这里插入图片描述

Sqoop import及使用方法

将数据从关系型数据库导入Hadoop 中
步骤1：Sqoop与数据库Server通信，获取数据库表的元数据信息；
步骤2：Sqoop启动一个Map-Only的MR作业，利用元数据信息并行将数据写入Hadoop

在这里插入图片描述
sqoop import
–connect jdbc:mysql://mysql.example.com/sqoop
–username sqoop
–password sqoop
–table cities
–connnect: 指定JDBC URL
–username/password ：mysql 数据库的用户名
–table ：要读取的数据库表

Sqoop export及使用方法

将数据从Hadoop 导入关系型数据库导中
步骤1：Sqoop与数据库Server通信，获取数据库表的元数据信息
步骤2：并行导入数据 ：
将Hadoop 上文件划分成若干个split
每个split 由一个Map Task 进行数据导入

在这里插入图片描述

sqoop export
–connect jdbc:mysql://mysql.example.com/sqoop
–username sqoop
–password sqoop
–table cities
–export-dir cities
 --connnect: 指定JDBC URL
–username/password ：mysql 数据库的用户名
–table ： 要导入的数据库表
export-dir ： 数据在HDFS 上存放目录

Sqoop与其他系统结合

sqoop import
–connect jdbc:mysql://mysql.example.com/sqoop
–username sqoop
–password sqoop
–table cities
–hive-import

sqoop import
–connect jdbc:mysql://mysql.example.com/sqoop
–username sqoop
–password sqoop
–table cities
–hbase-table cities
–column-family world

分布式数据存储

用户行为系统存储架构

在这里插入图片描述
数据存储：直接通过数据模块得到的数据
HDFS：用户点击日志等
MySQL/Oracle：用户基本信息、用户购买记录等
数据组织：为推荐系统准备数据
将不同的数据源中的数据导入HBase
HBase中以用户为单位组织数据

HDFS

HDFS基本概念

HDFS是用JAVA实现的文件系统
基于Google的GFS
部署在本地文件系统之上
比如：ext3，ext4或xfs
为海量数据提供冗余存储
使用很成熟的工业标准的计算机
在这里插入图片描述
HDFS最适合于合理数量的大文件
百万级，而不是十亿级的文件
每个文件在100MB及以上
HDFS文件是“一次写”的
不允许随机写
HDFS为大文件的连续读作了优化
而不是随机读

文件如何存储

数据文件在加载时拆分成块（默认128MB）并进行分布
每个块被复制到多个数据节点中（默认3份）
NameNode存储元数据
在这里插入图片描述

示例：存储和获取文件

在这里插入图片描述
在这里插入图片描述
访问HDFS的方式

Hadoop
客户端和HDFS之间的数据拷贝
API和命令行
生态项目
Flume
从网络源采集数据（比如，网站、系统日志）
Sqoop
在HDFS和RDBMSs之间传输数据
BI工具

在这里插入图片描述

HDFS命令行示例

从本地磁盘拷贝文件foo.txt到HDFS的用户目录

$ hdfs dfs -put foo.txt foo.txt

文件将会拷贝到/user/username/foo.txt

获取用户home目录的目录列表

$ hdfs dfs -ls

获取HDFS的根目录

$ hdfs dfs -ls /

显示HDFS文件/user/fred/bar.txt内容

$ hdfs dfs -cat /user/fred/bar.txt

拷贝文件到本地磁盘，命名为baz.txt

$ hdfs dfs -get /user/fred/bar.txt baz.txt

在用户home目录下创建input目录

$ hdfs dfs -mkdir input

删除input_old目录和所有里面的内容

$ hdfs dfs -rm -r input_old

Hbase

HBase是一个分布式的、面向列的开源数据库
HBase在Hadoop之上提供了类似于Bigtable的能力
HBase是一个适合于非结构化数据存储的数据库
HBase基于列的而不是基于行的模式
HBase存储的是松散型数据

HBase逻辑模型与数据存储

以表的形式存放数据
表由行与列组成，每个列属于某个列族，由行和列确定的存储单元称为元素
每个元素保存了同一份数据的多个版本，由时间戳来标识区分

在这里插入图片描述
HBase是按照列存储的稀疏行/列矩阵
空单元不存储
在这里插入图片描述
表中存储数据
在HBase中，数据存储为字节数组
任何可以转换成字节数组的对象都可以存储下来
字符串、数字、复杂对象和图片等
单元大小
对值大小的实际限制
通常，单元大小不能超过10MB

列族内的数据存储
HBase表特性
行键+列+时间戳 -->value
行键和值只是字节
可以存储任何能序列化成字节数组的对象
在这里插入图片描述

物理模型

在这里插入图片描述

HBase使用场景

存储大量的数据（>TB）
需要很高的写吞吐量
例如：Facebook消息
每天750亿次操作，每秒峰值达到150万操作
大规模数据集很好性能的随机访问（按列）
数据扩展
存储的数据量大，但通常访问小的数据集
数据缓存在内存中来加速查询
不需要全部的关系数据库特性，例如交叉列、交叉表，事务，连接等等

HBase Shell的使用

$ hbase shell

在这里插入图片描述

  1. 创建HBase表
    通用格式
create 'tablename', {NAME => 'colfam' [, options]} [, {...}]

简写

create 'movie', {NAME => 'desc'}
create 'movie', {NAME => 'desc', VERSIONS => 2}
create 'movie', {NAME => 'desc'}, {NAME => 'media'}

create 'movie', 'desc', 'media'
  1. 管理HBase命名空间
    HBase可以定义和管理命名空间
    多个表可以属于一个命名空间
    当表创建时定义表的命名空间
    可以创建、修改或删除命名空间
create_namespace 'namespaceName'
drop_namespace 'namespaceName'
alter_namespace 'namespaceName' {METHOD => 'set', 'PROPERTY_NAME' => 'PROPERTY_VALUE'}

有两种提前定义的特殊命名空间
hbase-系统命名空间，存储HBase内部表
Default-默认
3. 在命名空间里创建表
通用格式

create 'namespace:tablename', {NAME => 'colfam' [, options]} [, {...}]

create_namespace 'entertainment'
create 'entertainment:movie', {NAME => 'desc'}
  1. 列举和描述表
    列出所有表
hbase> list

查看表明细
查看表的所有列族，属性和值

hbase> describe 'movie'
  1. 禁用和启用表
    禁用表使表处于维护状态
    允许运行多种维护操作
    阻止所有客户端访问
    需要几分钟来禁用表
hbase> disable 'movie'

退出维护状态

hbase> enable 'movie'
  1. 删除
    Drop命令删除表并移除所有HDFS的文件
    需要先禁用表
hbase> disable 'movie'
hbase> drop 'movie'

Truncate命令删除表的所有行
表和列族的模式不受影响
不需要手动的禁用表

hbase> truncate 'movie'
  1. 插入行
    使用put插入行
    通用格式
hbase> put 'tablename', 'rowkey', 'colfam:col', 'value' [, timestamp]

示例

hbase> put 'movie', 'row1', 'desc:title', 'Home Alone'
hbase> put 'movie', 'row1', 'desc:title', 'Home Alone 2', 1274032629663
  1. 获取行
    使用get获取行
    通用格式：
hbase> get 'tablename', 'rowkey' [, options]

示例

hbase> get 'movie', 'row1'
hbase> get 'movie', 'row1', {COLUMN => 'desc:title'}
hbase> get 'movie', 'row1', {COLUMN => 'desc:title', VERSIONS => 2}
hbase> get 'movie', 'row1', {COLUMN => ['desc']}
  1. 扫描行
    使用scan返回一组行
    通用格式：
hbase> scan 'tablename' [,options]

示例

hbase> scan 'movie'
hbase> scan 'movie', {LIMIT => 10}
hbase> scan 'movie', {STARTROW => 'row1', STOPROW => 'row5'}
hbase> scan 'movie', {COLUMNS => ['desc:title', 'media:type']}
LotusQ
关注
专栏目录
「大数据」Lambda架构
AIGC大前端小王子
05-24 273
Lambda架构是一种用于处理大数据的架构，它由Twitter的前工程师Nathan Marz提出。Lambda架构的核心思想是将数据系统分为三个层次，以实现高容错性、低延迟和可扩展性。
系统架构设计师【第19章】: 大数据架构设计理论与实践 (核心总结)
最新发布
数据知道的博客
06-04 6209
大数据架构主要面向大数据的容量体量、类型多样、高速实时、客观真实、价值可观、变化多 样和复杂多源的特性，既要构建高质量属性的架构解决方案，又受制于成本、性能、可扩展性等诸多条件。同时，云计算、物联网以及边缘计算等客观环境的发展，也对大数据架构的设计提出了弹性、容器化等新的要求。
大数据核心技术与应用论坛—推荐系统算法架构及Spark的应用—李 滔
06-23
在搜狐大数据中心技术经理李滔的分享中，他首先介绍了广告和新闻推荐的共同和不同点：相同点，它们都可以视为都可看做一个点击率(ctr)估计的任务，其特征都包含了用户、商品、上下文三个维度，同时点击率也是动态变化的；不同点，推荐产生的点击率可能是广告的10到100倍，同时在特征描述上，广告通常是细粒度特征，而推荐对应的则是相对粗粒度。
大数据推荐系统算法（2） lambda架构
HouLei
06-03 2901
一、介绍 大数据 3V 1.海量数据 Volume 2.更新频率高 Velocity 3.图像，文本，语言 非结构画数据 Variety Lambda架构 1.Lambda系统架构提供了一个结合实时数据和Hadoop预先计算的数据环境的混合平台，以提供一个实时的数据视图。 2.分层架构：批处理层、实时处理层、服务层 批处理：批处理主要操作大容量静态数据集，并在计算过程完成后返回结果。 流式处理...
推荐系统的数据分析
qq_41621342的博客
04-05 686
推荐系统的数据分析 从上图可以看到： 推荐系统一般有三类数据源，一类来自用户的基本信息，一类来自物品的基本信息，还有一类是用户对物品的行为数据。 一般显式的用户反馈数据可以从数据库中获取，隐式的反馈从日志文件中获取。 ...
Hear大数据项目——推荐系统架构与数据模型设计
庄小焱
06-22 4643
实时推荐系统的设计
大数据推荐系统实时架构和离线架构
qianshanding0708的博客
09-03 2987
1、概述 推荐系统是大数据中最常见和最容易理解的应用之一，比如说淘宝的猜你喜欢和京东等网站的用户提供个性化的内容。但是不仅仅只有电商会用推荐引擎为用户提供额...
大数据系统的Lambda架构
01-27
NathanMarz的大作BigData:Principles andbestpracticesofscalablereal-...Architecture的概念，用于在大数据架构中，如何让real-time与batchjob更好地结合起来，以达成对大数据的实时处理。 传统系统的问题 在传统数据
基于大数据的餐饮推荐系统，整体采用Lambda架构，读取餐饮评分数据并通过Spark的MLlib中的ALS建立推荐模型后进行推荐
04-18
《基于大数据的餐饮推荐系统——探索Lambda架构与Spark MLlib ALS模型》 在现代数字化时代，餐饮行业的竞争日益激烈，个性化推荐已经成为提升客户满意度、增强用户粘性的重要手段。本篇将深入探讨一种基于大数据的...
大数据推荐系统（7）推荐系统与Lambda架构
HouLei
06-20 1988
推荐平台基本架构 HDFS 日志数据 MySQL Oracle 结构化数据 JDBG数据源 MapReduce : mahout Spark:ml、mllib（从HBase中读取数据） HBase:：数据做选择， 数据需要大数据平台，能建模，能大规模数据访问。 （表结构） 服务层前有redis 内存的存储。（生成的推荐的列表） Web Service 图形展示结果 数据加载 数据...
大数据下实时推荐系统架构文档
01-08
大数据环境下如何架构实时推荐系统的说明文档，使用了目前流行的spark hbase kafa sparkstream ml spray ...等技术。
大数据推荐系统
02-21
大数据
推荐系统架构
li12412414的博客
09-14 3172
前言 本文主要介绍推荐系统的基本架构。 推荐系统架构 目录 宏观的推荐系统架 细化的推荐系统架构 外围架构图 日志存储系统 推荐系统 宏观的推荐系统架  我们从宏观上可以感受到的推荐系统架构如下：通过数据分析得到用户画像，然后通过推荐系统给用户推荐数据。从此图中，我们也可以窥知一个完整的推荐系统至少应该有如下的子系统：用户画像子系统，内容子系统，存储子系统，推...
推荐系统lambda架构学习笔记之推荐系统（一）
码python的Vinsmoke
08-18 1547
推荐系统 个性化推荐(推荐系统)经历了多年的发展，已经成为互联网产品的标配，也是AI成功落地的分支之一，在电商(淘宝/京东)、资讯(今日头条/微博)、音乐(网易云音乐/QQ音乐)、短视频(抖音/快手)等热门应用中,推荐系统都是核心组件之一。 什么是推荐系统 没有明确需求的用户访问了我们的服务, 且服务的物品对用户构成了信息过载, 系统通过一定的规则对物品进行排序,并将排在前面的物品展示给用户,这样的系统就是推荐系统 信息过载 & 用户需求不明确 分类⽬录（1990s）：覆盖少量热门⽹站。典型应用：
天池推荐系统数据分析
qq_37501555的博客
11-27 677
推荐系统数据分析 <天池推荐系统比赛记录> 本次任务的主要目标是查看数据集整个数据集中有哪些数据，这些数据中有什么潜在的关联，数据有怎样的特征，要如何对数据进行处理来服务于本次的醒悟推荐系统。 数据分析的一般步骤 导入数据 %matplotlib inline import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns plt.rc('font', family='S
推荐系统之Lambda架构
qq_28286027的博客
01-11 374
# 1.Lambda介绍： 提出者：Twitter工程师Nathan Marz提出，同时是Storm项目发起人 Lambda作用：Lambda系统架构提供了一个结合实时数据和Hadoop预先计算的数据环境下的混合平台，以提供一个实时的数据视图 # 2.分层架构 架构图如下： ![](https://upload-images.jianshu.io/upload_images/18154391-a6...
笔记 | 推荐系统 —— lambda架构
十三
03-12 976
【编程开发】某风网 大数据推荐系统算法工程师 项目实战 1 Lambda架构 1.Lambda系统架构提供了一个结合实时数据和Hadoop预先计算的数据环境的混合平台，以提供一个实时的数据视图。 2.分层架构：批处理层、实时处理层、服务层 一些框架： 应用举例 2 批处理层 1.数据不可变 2.可以进行任何计算 3.水平扩展——数据量大 4.高延迟——根据计算量和数量不同，运行时间可能几...
数据分析中的推荐系统实战
程序员光剑
02-17 64
1. 背景介绍 1.1 推荐系统的重要性 在当今信息爆炸的时代，人们面临着海量的信息和选择。为了帮助用户在有限的时间内找到他们感兴趣的内容，推荐系统应运而生。推荐系统是一种信息过滤技术，它可以根据用户的历史行为、兴趣偏好等信息，为用户提供个性化的内容推荐。推荐系统在电商、社交媒体、新闻资讯等领域发挥
Lambda架构：应对大数据时代的数据系统挑战
Lambda架构的核心目标是构建一个能支持实时大数据系统的关键特性，这些特性包括： 1. **高容错性**：通过分布式设计和数据冗余，确保系统能在单点故障时仍能继续运行。 2. **低延迟**：通过实时计算能力，保证数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值