用户画像的技术选型与架构实现

转载 2016年08月28日 15:31:20

这里讲解下用户画像的技术架构和整体实现,那么就从数据整理、数据平台、面向应用三个方面来讨论一个架构的实现(个人见解)。

数据整理:

1、数据指标的的梳理来源于各个系统日常积累的日志记录系统,通过sqoop导入hdfs,也可以用代码来实现,比如spark的jdbc连接传统数据库进行数据的cache。还有一种方式,可以通过将数据写入本地文件,然后通过sparksql的load或者hive的export等方式导入HDFS。

2、通过hive编写UDF 或者hiveql 根据业务逻辑拼接ETL,使用户对应上不同的用户标签数据(这里的指标可以理解为为每个用户打上了相应的标签),生成相应的源表数据,以便于后续用户画像系统,通过不同的规则进行标签宽表的生成。

数据平台

1、数据平台应用的分布式文件系统为Hadoop的HDFS,因为Hadoop2.0以后,任何的大数据应用都可以通过ResoureManager申请资源,注册服务。比如(sparksubmit、hive)等等。而基于内存的计算框架的出现,就并不选用hadoop的MapReduce了。当然很多离线处理的业务,很多人还是倾向于使用Hadoop,但是hadoop的封装的函数只有map和Reduce太过单一,而不像spark一类的计算框架有更多封装的函数(可参考博客spark专栏)。可以大大提升开发效率。

2、计算的框架选用Spark以及RHadoop,这里Spark的主要用途有两种,一种是对于数据处理与上层应用所指定的规则的数据筛选过滤,(通过Scala编写spark代码提交至sparksubmit)。一种是服务于上层应用的SparkSQL(通过启动spark thriftserver与前台应用进行连接)。 RHadoop的应用主要在于对于标签数据的打分,比如利用协同过滤算法等各种推荐算法对数据进行各方面评分。

3、MongoDB内存数据的应用主要在于对于单个用户的实时的查询,也是通过对spark数据梳理后的标签宽表进行数据格式转换(json格式)导入mongodb,前台应用可通过连接mongodb进行数据转换,从而进行单个标签的展现。(当然也可将数据转换为Redis中的key value形式,导入Redis集群)

4、mysql的作用在于针对上层应用标签规则的存储,以及页面信息的展现。后台的数据宽表是与spark相关联,通过连接mysql随后cache元数据进行filter,select,map,reduce等对元数据信息的整理,再与真实存在于Hdfs的数据进行处理。

面向应用

1、从刚才的数据整理、数据平台的计算,都已经将服务于上层应用的标签大宽表生成。(用户所对应的各类标签信息)。那么前台根据业务逻辑,勾选不同的标签进行求和、剔除等操作,比如本月流量大于200M用户(标签)+本月消费超过100元用户(标签)进行和的操作,通过前台代码实现sql的拼接,进行客户数目的探索。这里就是通过jdbc的方式连接spark的thriftserver,通过集群进行HDFS上的大宽表的运算求count。(这里要注意一点,很多sql聚合函数以及多表关联join 相当于hadoop的mapreduce的shuffle,很容易造成内存溢出,相关参数调整可参考本博客spark栏目中的配置信息) 这样便可以定位相应的客户数量,从而进行客户群、标签的分析,产品的策略匹配从而精准营销。

转自:http://www.cnblogs.com/yangsy0915/p/5222705.html

如何构建用户画像

从1991年Tim Berners-Lee发明了万维网(World Wide Web)开始,到20年后2011年,互联网真正走向了一个新的里程碑,进入了“大数据时代”。经历了12、13两年热炒之后,人...
  • sdauzyh
  • sdauzyh
  • 2016年01月26日 10:19
  • 1642

用户画像构建策略及应用实践

Qunar用户画像构建策略及应用实践 2016-11-15 李国芳 大数据杂谈 1用户画像的构建原则 我们做用户画像的目的有两个: 必须从业务场景出发,解决实际的业务问题,之...
  • xiaoshunzi111
  • xiaoshunzi111
  • 2016年11月15日 14:24
  • 4812

用户画像的

早期的用户画像是通过对用户多方面信息的调研和了解,将多种信息分类聚合,产出几个有典型特征和气质的虚拟用户。用户画像用于辅助产品设计,评价需求是否有价值,别让产品偏离核心用户的需求;市场营销方面,可以用...
  • bigkeen
  • bigkeen
  • 2017年12月28日 16:55
  • 28

用户画像

用户画像:通过算法聚合成一类实现用户信息标签化。 构建用户画像 ① 用户画像信息:基本属性,购买能力,行为特征,兴趣爱好,心理特征,社交网络 ② 行为建模:文本挖掘,自然语言处理,机器学习,预测...
  • wang1127248268
  • wang1127248268
  • 2017年08月18日 11:02
  • 466

2017年,你还在用用户画像和协同过滤做推荐系统吗?

转自:http://www.sohu.com/a/157884400_470008 本文是大数据杂谈 7 月 13 日社群公开课分享整理,也是第四范式主题月的第二堂公开课内容。 今天想和大...
  • LIHUINIHAO
  • LIHUINIHAO
  • 2017年07月20日 08:57
  • 2210

如何实现基于内容和用户画像的个性化推荐

个性化推荐系统是一门由数据挖掘和机器学习综合的学科,它必须能够基于用户之前的口味和喜好提供相关的精确的推荐,而且这种口味和喜欢的收集必须尽量少的需要用户的劳动。本文主要介绍了如何基于内容和用呢画像实现...
  • DearDreaming
  • DearDreaming
  • 2016年04月25日 17:27
  • 5385

一步步教你看懂大数据时代下的“用户画像”

一步步教你看懂大数据时代下的“用户画像” 中国大数据产业观察网2016-04-16 18:07:33阅读(3607)评论(0) 声明:本文由入驻搜狐公众平台的作者撰写,除搜狐官方账...
  • qiezikuaichuan
  • qiezikuaichuan
  • 2016年09月23日 17:38
  • 1907

Hive学习六:HIVE日志分析(用户画像)

Hive学习六:HIVE日志分析(用户画像)标签(空格分隔): HiveHive学习六HIVE日志分析用户画像 案例分析思路 一创建临时中间表 二将中间结果存放到临时表中 三创建结果表并存入最终jie...
  • youfashion
  • youfashion
  • 2016年04月19日 10:36
  • 1441

分享我在2014架构师大会演讲材料<<基于用户画像的大数据挖掘实践>>

分享我在2014架构师大会演讲材料>,猛点这里
  • yangbutao
  • yangbutao
  • 2014年12月22日 21:06
  • 6024

用户画像与推荐系统的关系

用户画像是将用户的特征进行标签化,有简单的标签,也有复杂的标签,复杂的标签来自原始的标签,这其中有复杂的规则逻辑,用sql或这sparkCore来执行产生,也有利用算法模型来产生的,利用SVM,LR,...
  • yyqq188
  • yyqq188
  • 2017年10月19日 08:28
  • 305
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:用户画像的技术选型与架构实现
举报原因:
原因补充:

(最多只允许输入30个字)