用户行为分析系统+推荐系统+智能家居
文章平均质量分 90
用户行为分析系统+推荐系统+智能家居
专注_每天进步一点点
成为健康快乐长寿有价值的人,拥有明亮灵动的眼睛,平静谦和的微笑。
展开
-
软件定义汽车的时代,我们需要哪些软件能力
2019年,全球范围内先后至少有6起特斯拉汽车自燃事件,其中最轰动的是发生在上海的那起:4月21日,在上海的地下车库停放的Model S无征兆自燃事件将特斯拉送上舆论热点。在初步判断为电池短路问题后,特斯拉官方也做出了最快的应对:于5月开展了旨在“保护电池,改善电池耐用度”的2019.16.1和2019.16.2版软件升级。随后至今的数月当中,Model S自燃的事故数量大大降低,软件升级起到了立杆见影的效果。没有召回汽车,甚至没有提醒车主注意事项,特斯拉只进行了一次例行公事的OTA升级就很好地渡过转载 2022-02-11 17:22:27 · 246 阅读 · 0 评论 -
理工男打造帝都89平智能家庭
转载智能家居 作者:热情的沙漠 出处:http://www.cnblogs.com/buptzym/理工男打造帝都89平智能家庭毕业后的2016年年初,搬入新家,总算不用在出租屋里鬼混了,于是就想把之前童年的梦想:智能家居+家庭影院好好实现一下~ 相比帝都高昂的房价,这些东东还凑合玩得起,不过在有限预算下实现尽可能定制和强大的功能会更有意思。我yy了以下几个场景: 每当下班回家...转载 2019-11-06 15:51:03 · 398 阅读 · 0 评论 -
02_从职位推荐开始,聊内容推荐
前天的《1分钟了解协同过滤,pm都懂了》,很多同学点了赞,今天接着用通俗的语言说说“基于内容的推荐”,也保证pm弄懂。 什么是基于内容的推荐(Content-based Recommendation)?答:通过用户历史感兴趣的信息,抽象信息内容共性,根据内容共性推荐其他信息。 比如,如何通过基于内容的推荐,来对求职者A进行职位推荐?答:简要步骤如下 找到用户A历史感兴...转载 2018-10-16 15:46:56 · 288 阅读 · 0 评论 -
【推荐系统篇】--推荐系统之训练模型
一、前述经过之前的训练数据的构建可以得到所有特征值为1的模型文件,本文将继续构建训练数据特征并构建模型。二、详细流程将处理完成后的训练数据导出用做线下训练的源数据(可以用Spark_Sql对数据进行处理)insert overwrite local directory '/opt/data/traindata' row format delimited fields ter...转载 2019-03-26 15:54:32 · 438 阅读 · 0 评论 -
深入推荐引擎相关算法 - 协同过滤
探索推荐引擎内部的秘密,第 2 部分深入推荐引擎相关算法 - 协同过滤赵 晨婷 和 马 春娥2011 年 3 月 21 日发布WeiboGoogle+用电子邮件发送本页面 31系列内容:此内容是该系列 3 部分中的第 2 部分: 探索推荐引擎内部的秘密集体智慧和协同过滤什么是集体智慧集体智慧 (Collective Intelligence) 并不是 ...转载 2018-10-17 11:06:24 · 259 阅读 · 0 评论 -
五类推荐系统算法,非常好使,非常全面
序言 最近因为PAC平台自动化的需求,开始探坑推荐系统。这个乍一听去乐趣无穷的课题,对于算法大神们来说是这样的: 而对于刚接触这个领域的我来说,是这样的: 在深坑外围徘徊了一周后,我整理了一些推荐系统的基本概念以及一些有代表性的简单的算法,作为初探总结,也希望能抛砖引玉,给同样想入坑的伙伴们提供一些思路。 ◆ ◆ ◆ 什么是推荐系统 1. 什...转载 2018-10-15 14:12:01 · 11182 阅读 · 0 评论 -
05_“相同距离,不同价格”的个性化推荐
前几天被一条消息刷屏了,据说还上了新闻联播:相同起点,相同终点的两个手机打车,价格不一样。 去年也有新闻引起过激烈的讨论:相同的起点,相同终点的两个用户买飞机票,机票价格不一样。 今天接着用通俗的语言说说此类“个性化价格”是如何实现的。 方式一:“用户分级”对用户进行分级,不同类型的用户会有不同的补贴,定价,营销策略。 以网约车用户为例,不同用户的营销策略不同。...转载 2018-10-16 16:52:11 · 180 阅读 · 0 评论 -
【推荐系统篇】--推荐系统介绍和基本架构流程
原文地址:https://blog.csdn.net/LHWorldBlog/article/details/80822719一、前述推荐系统是企业中常用的技术,所以系统的掌握推荐系统的知识是很有必要的。本专栏主要讲述手机APP下载的项目。常用的推荐方法有两个,分别是基于物品的推荐和基于用户的推荐。基于用户的推荐原理是:跟你喜好相似的人喜欢的东西你也很有可能喜欢(userBaseC...转载 2019-03-26 15:53:03 · 1551 阅读 · 1 评论 -
C_个性化推荐系统常用算法、冷启动问题、架构、度量
大部分人都听说过个性化推荐,那么个性化推荐系统到底是怎么样的呢?现在的人们面对信息过载问题日益严重,比如说用户浏览淘宝或京东的网站,面对海量的商品,用户难以找到自己需要的商品。个性化推荐帮助用户找到需要和想要的商品,提升用户体验。个性化推荐也能提升淘宝或京东网站的销售额,据说京东网站有17%的销售额是推荐系统带来的!对于一些电商类的产品,个性化推荐也能帮助减少马太效应和长尾效应的影响,...转载 2018-10-15 16:45:21 · 890 阅读 · 0 评论 -
推荐系统初识-协同过滤
转自:http://www.cnblogs.com/pinard/p/6349233.html1. 推荐算法概述 推荐算法是非常古老的,在机器学习还没有兴起的时候就有需求和应用了。概括来说,可以分为以下5种: 1)基于内容的推荐:这一类一般依赖于自然语言处理NLP的一些知识,通过挖掘文本的TF-IDF特征向量,来得到用户的偏好,进而做推荐。这类推荐算法可以找到用户独特...转载 2018-10-17 10:45:37 · 203 阅读 · 0 评论 -
深入推荐引擎相关算法 - 聚类
探索推荐引擎内部的秘密,第 3 部分深入推荐引擎相关算法 - 聚类赵 晨婷 和 马 春娥2011 年 3 月 24 日发布WeiboGoogle+用电子邮件发送本页面 10系列内容:此内容是该系列 3 部分中的第 3 部分: 探索推荐引擎内部的秘密聚类分析什么是聚类分析?聚类 (Clustering) 就是将数据对象分组成为多个类或者簇 (Cluste...转载 2018-10-17 11:08:59 · 204 阅读 · 0 评论 -
Spark+Kafka_2019年3月29日和贝贝(京东推荐系统算法组成员)聊天内容记录
京东的推荐系统大组分三个小组:1、数据平台组(负责数据采集数据存储数据清洗等)2、推荐系统算法组,利用数据平台组的数据跑出模型、用户画像等3、推荐服务组,加载模型文件提供推荐服务应对6.18或是双11,数据量暴增可能采取数据抽样!用样本代替总体。你们的数据量有多大如何解决数据倾斜数据本地化,原则上移动计算不移动数据,但当在某一个节点上集结了太多的计算任务的时候,有...原创 2019-04-01 14:43:47 · 1890 阅读 · 0 评论 -
03_我不是潘金莲,聊相似性推荐
前几天聊的“协同过滤(Collaborative Filtering)”和“基于内容的推荐(Content-based Recommendation)”,都必须分析用户的历史行为数据(例如电影点击数据,职位查看数据等),针对不同的用户进行个性化推荐。如果系统没有用户的历史行为数据积累,如何实施推荐呢? 今天接着用通俗的语言说说推荐算法中的“相似性推荐”。 什么是“相似性推荐”?...转载 2018-10-16 15:53:42 · 278 阅读 · 0 评论 -
00_通俗易懂,互联网的常见推荐算法
没有复杂的公式,没有晦涩的技术词汇,从最简易的案例,了解互联网最常见的推荐算法,每篇1分钟,保证弄懂。 一、《从电影推荐开始,聊协同过滤》 什么是协同过滤 协同过滤的3步骤 一张excel表格,秒懂协同过滤 二、《从职位推荐开始,聊内容推荐》 什么是基于内容的推荐 基于内容的推荐的3步骤 明明职位要求6000+,为啥会出3000...转载 2018-10-16 16:50:05 · 345 阅读 · 0 评论 -
04_从啤酒与尿布,聊关联规则推荐
“把啤酒放在尿布旁,有助于提升啤酒销售量”是关联规则推荐的经典案例,今天,和大家聊聊“关联规则推荐”,正文不含任何公式,保证PM弄懂。 一、概念什么是关联规则(Association Rules)?答:关联规则是数据挖掘中的概念,通过分析数据,找到数据之间的关联。电商中经常用来分析购买物品之间的相关性,例如,“购买尿布的用户,有大概率购买啤酒”,这就是一个关联规则。画外音:如果...转载 2018-10-16 16:40:33 · 1256 阅读 · 0 评论 -
C_一文读懂推荐系统知识体系-上(概念、结构、算法)
本文主要阐述:推荐系统的3个W 推荐系统的结构 推荐引擎算法浏览后四章的内容请见下篇。1. 推荐系统的3个W1.1 是什么(What is it?)推荐系统就是根据用户的历史行为、社交关系、兴趣点、所处上下文环境等信息去判断用户当前需要或感兴趣的物品/服务的一类应用。1.2 为什么(Why is that?)为什么我们要用到推荐系统呢?随着信息技术和互联网的...转载 2018-10-15 16:09:52 · 925 阅读 · 0 评论 -
成为一名推荐系统工程师永远都不晚
作者简介: 陈开江,希为科技CTO,曾任新浪微博资深算法工程师,考拉FM算法主管,个性化导购App《Wave》和《边逛边聊》联合创始人,多年推荐系统从业经历,在算法、架构、产品方面均有丰富的实践经验。 责编:何永灿(heyc@csdn.net) 本文为《程序员》原创文章,未经允许不得转载,更多精彩文章请订阅《程序员》推荐系统工程师技能树 掌握核心原理的技能数学:微积分,统...转载 2019-02-24 22:47:28 · 312 阅读 · 1 评论 -
推荐系统
推荐系统广泛存在于各类网站中,作为一个单独的应用为用户提供个性化的推荐。它需要一些用户的历史数据,一般由三个部分组成: 基础数据、推荐算法系统和前台展示。基础数据包括很多维度,包括用户的访问、浏览、下单、收藏、用户的历史订单信息、评价信息等很多信息;推荐算法系统主要根据不同的推荐诉求,由多个算法组成的推荐模型;前台展示主要是对客户端系统进行响应,返回相关的推荐信息以供展示。...转载 2018-12-03 15:21:01 · 236 阅读 · 0 评论 -
01_从电影推荐开始,聊协同过滤
工程架构方向的程序员,看到推荐/搜索/广告等和算法相关的技术,心中或多或少有一丝胆怯。但认真研究之后,发现其实没有这么难。 今天的1分钟系列,给大家介绍下推荐系统中的“协同过滤”,绝无任何公式,保证大伙弄懂。 什么是协同过滤(Collaborative Filtering)?答:通过找到兴趣相投,或者有共同经验的群体,来向用户推荐感兴趣的信息。 举例,如何协同过滤,来对...转载 2018-10-16 15:39:02 · 410 阅读 · 0 评论 -
推荐系统中协同过滤算法实现分析(重要两个图!!)
“协”,指许多人协力合作。“协同”,就是指协调两个或者两个以上的不同资源或者个体,协同一致地完成某一目标的过程。“协同过滤”,简单来说,就是利用兴趣相投或拥有共同经验的群体的喜好来给用户推荐感兴趣的信息,记录下来个人对于信息相当程度的回应(如评分),以达到过滤的目的,进而帮助别人筛选信息。回应不一定局限于特别感兴趣的,特别不感兴趣信息的纪录也相当重要。 最近研究Mahout比较...转载 2018-10-17 15:53:53 · 1286 阅读 · 0 评论 -
推荐引擎初探
探索推荐引擎内部的秘密,第 1 部分推荐引擎初探赵 晨婷 和 马 春娥2011 年 3 月 16 日发布WeiboGoogle+用电子邮件发送本页面 21系列内容:此内容是该系列 3 部分中的第 1 部分: 探索推荐引擎内部的秘密“探索推荐引擎内部的秘密”系列将带领读者从浅入深的学习探索推荐引擎的机制,实现方法,其中还涉及一些基本的优化方法,例如聚类和分类的应...转载 2018-10-17 11:04:03 · 149 阅读 · 0 评论 -
C_一文读懂推荐系统知识体系(数据派THU 李中杰)
1. 推荐系统的3个W1.1 是什么(What is it?) 推荐系统就是根据用户的历史行为、社交关系、兴趣点、所处上下文环境等信息去判断用户当前需要或感兴趣的物品/服务的一类应用。1.2 为什么(Why is that?) 为什么我们要用到推荐系统呢?随着信息技术和互联网的发展,人类从信息匮乏时代走向了信息过载(Information Overload)时代。 ...转载 2018-10-15 16:35:05 · 734 阅读 · 0 评论 -
B_推荐系统架构
一、推荐系统介绍当下,个性化推荐成了互联网产品的标配。但是,人们对推荐该如何来做,也就是推荐技术本身,还不甚了解。为此,好学的你肯定在收藏着朋友圈里流传的相关文章,转发着微博上的相关讨论话题,甚至还会不断奔走在各种大小行业会议之间,听着大厂职工们讲那些干货。我知道,这样碎片化的吸收,增加了知识的同时,也增加了焦虑。因为技术的不平等广泛存在于业界内,推荐系统也不例外。推荐系统从搜索引擎借鉴了...转载 2018-10-15 14:05:32 · 248 阅读 · 0 评论 -
推荐系统 会议+学者+课程+数据集
前言推荐系统是一个相当火热的研究方向,在工业界和学术界都得到了大家的广泛关注。希望通过此文,总结一些关于推荐系统领域相关的会议、知名学者,以及做科研常用的数据集、代码库等,一来算是对自己涉猎推荐系统领域的整理和总结,二来希望能够帮助想入门推荐系统的童鞋们提供一个参考,希望能够尽快上手推荐系统,进而更好更快的深入科研也好、工程也罢。一、 相关会议对于推荐系统领域,直接相关的会议不多,但由...转载 2018-10-15 14:00:55 · 1159 阅读 · 2 评论 -
【推荐系统篇】--推荐系统之之特征工程部分---构建训练集流程
原文地址:https://blog.csdn.net/LHWorldBlog/article/details/80822720一、前述根据前文中架构,本文我们讨论线下部分构建训练集部分。因为我们离线部分模型的选择是逻辑回归,所以我们数据必须有x和y.二、具体流程1.从数据库中分离出我们需要的数据。 用户行为表(日志) 用户历史下载表 商品词表...转载 2019-03-26 15:56:49 · 301 阅读 · 0 评论 -
B_推荐系统——online(上)
一、框架介绍 上一篇从总体上介绍了推荐系统,推荐系统online和offline是两个组成部分。其中offline负责数据的收集,存储,统计,模型的训练等工作;online部分负责处理用户的请求,模型数据的使用,online learning等。因为online中有比较复杂的ranking,ranking又分为离线训练和online learning,本篇主要介绍online部分的r...转载 2018-10-15 14:22:09 · 253 阅读 · 0 评论 -
Hadoop Yarn REST API未授权漏洞利用挖矿分析
欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~一、背景情况5月5日腾讯云安全曾针对攻击者利用Hadoop Yarn资源管理系统REST API未授权漏洞对服务器进行攻击,攻击者可以在未授权的情况下远程执行代码的安全问题进行预警,在预警的前后我们曾多次捕获相关的攻击案例,其中就包含利用该问题进行挖矿,我们针对其中一个案例进行分析并提供响应的安全建议和解决方案。二、 漏洞说明...转载 2020-01-22 11:09:50 · 2030 阅读 · 0 评论 -
推荐系统-Ctr点击率预估理论基础及项目实战
转载 2020-01-17 11:11:59 · 223 阅读 · 0 评论 -
大数据--工作流程调度系统--替代传统的crontab
1. 工作流程调度系统产生背景一个完整的数据分析系统通常都是由大量任务单元组成 : shell脚本程序 , java程序 , MapReduce程序 , hive脚本等各个任务单元之间存在时间先后依赖关系为了更好地组织起这样的复杂执行计划 , 需要一个工作流程调度系统来调度执行2. 工作流程调度实现方式简单的任务调度 : 直接使用linux的crontab来定义 ...转载 2020-01-17 11:23:44 · 327 阅读 · 0 评论 -
画像体系之-HBase缓存漫谈
背景用户/内容画像的对存储的要求其实是比较高的: 能批量更新(比如更新所有用户某个属性) 大量随机读取(甚至可能没有热点数据) 随机属性更新/添加 可持久化 易于横向扩展解决性能问题上一次重度使用HBase已经是两年前了。HBase能够满足上面五个要求,所以用HBase作为画像体系的主要存储引擎便水到渠成。问题因为有批量更新,随机属性的更新...转载 2020-01-08 18:02:53 · 292 阅读 · 0 评论 -
从原理到落地,七大维度读懂协同过滤推荐算法
转载 AI科技大本营 最后发布于2019-08-09 19:52:18 阅读数 195 收藏 展开作者丨gongyouliu来源 | 大数据与人工智能导语:本文会从协同过滤思想简介、协同过滤算法原理介绍、离线协同过滤算法的工程实现、近实时协同过滤算法的工程实现、协同过滤算法应用场景、协同过滤算法的优缺点、协同过滤算法落地需要关注的几个问题等7个方面来讲述。希望读者读完...转载 2020-01-21 15:01:19 · 1150 阅读 · 0 评论 -
从内容/用户画像到如何做算法研发
中午和一前同事一起用餐,发现还是有很多碰撞点的。交流了很多正在做的事情,对方也提供了非常多的思想值得自己很好的思考。先是和他聊了下我们现在做内容标签的进展,其实就是在做内容画像。我们一般都是在谈用户画像,其实内容也是要画像的。我之前说,内容和用户是现在互联网企业核心的两个东西,用户的行为则将内容和用户连接了起来。很多人一上来,撸起袖子就开始做用户画像,后面会发现,如果没有对内容...转载 2020-01-08 16:44:41 · 242 阅读 · 0 评论 -
千万级智能推荐系统的架构演进_基于画像的京东推荐系统
作者:fisherman,时任推荐部门推荐系统负责人,负责推荐部门的架构设计及相关研发工作。Davidxiaozhi,时任推荐部门推荐系统架构师,负责推荐系统的架构设计和系统升级。来自:《决战618:探秘京东技术取胜之道》零,题记在电商领域,推荐的价值在于挖掘用户潜在购买需求,缩短用户到商品的距离,提升用户的购物体验。京东推荐的演进史是绚丽多彩的。京东的推荐起步于2012年,当时的...转载 2020-01-09 14:46:48 · 710 阅读 · 1 评论 -
从原理到落地,七大维度读懂协同过滤推荐算法
2019-08-09 19:52作者丨gongyouliu来源 | 大数据与人工智能导语:本文会从协同过滤思想简介、协同过滤算法原理介绍、离线协同过滤算法的工程实现、近实时协同过滤算法的工程实现、协同过滤算法应用场景、协同过滤算法的优缺点、协同过滤算法落地需要关注的几个问题等7个方面来讲述。希望读者读完本文,可以很好地理解协同过滤的思路、算法原理、工程实现方案,并且具备基于本文的...转载 2020-01-21 15:10:22 · 1319 阅读 · 0 评论 -
大数据系列教程_硬件配置及软件列表
系统架构文档:http://blog.csdn.net/ashang_bigdata/article/details/41172399备注:当前环境为测试环境,全部在虚拟机中搭建1、硬件配置及软件列表1.1、硬件配置信息 monitor 192.168.30.5 2核 4G内存 50G磁盘 master ...转载 2018-12-14 10:14:21 · 2745 阅读 · 0 评论 -
国内主流新一代用户行为分析系统选型过程分享
企业在选择用户行为分析工具时,大都不清楚如何选择适合自己业务的用户行为分析工具。笔者自己公司之前网站分析用百度统计APP分析用友盟,公司是做电商行业的,最近公司提出要精细化运营,用数据驱动业务增长,因此在10月份分别考察了国内做得比较出色的几家公司:数极客(阿里系)、神策数据(百度系)和GrowingIO(LinkedIn系)三家公司的用户行为分析产品。我在选型过程中将各家公司的功能和服务对比...转载 2018-12-11 11:12:46 · 2102 阅读 · 0 评论 -
日处理20亿数据,实时用户行为服务系统架构实践
携程实时用户行为服务作为基础服务,目前普遍应用在多个场景中,比如猜你喜欢(携程的推荐系统)、动态广告、用户画像、浏览历史等等。 以猜你喜欢为例,猜你喜欢为应用内用户提供潜在选项,提高成交效率。旅行是一项综合性的需求,用户往往需要不止一个产品。作为一站式的旅游服务平台,跨业务线的推荐,特别是实时推荐,能实际满足用户的需求,因此在上游提供打通各业务线之间的用户行为数据有很大的必要性。 携程原...转载 2018-12-11 11:30:49 · 260 阅读 · 0 评论 -
用户行为分析系统
用户行为,指的是用户与产品UI的交互行为,主要表现在Android App、iOS App与Web页面上。这些交互行为,有的会与后端服务通信,有的仅仅引起前端UI的变化,但是不管是哪种行为,其背后总是伴随着一组属性数据。对于与后端发生交互的行为,我们可以从后端服务日志、业务数据库中拿到相关数据;而对于那些仅仅发生在前端的行为,则需要依靠前端主动上报给后端才能知晓。用户行为数据采集系统,便是负...转载 2018-12-11 17:15:49 · 2241 阅读 · 0 评论 -
大数据平台网站日志分析系统
1:大数据平台网站日志分析系统,项目技术架构图:2:大数据平台网站日志分析系统,流程图解析,整体流程如下: ETL即hive查询的sql; 但是,由于本案例的前提是处理海量数据,因而,流程中各环节所使用的技术则跟传统BI完全不同: 1) 数据采集:定制开发采集程序,或使用开源框架FLUME 2) 数据预处理:定制开发mapreduce程序运行于ha...转载 2018-12-11 17:39:38 · 308 阅读 · 0 评论 -
大数据日志分析系统-介绍 二-整体架构介绍
首先说:技术为了需求而服务,公司的需求就是进行日志分析。 公司现状:CDN公司(可以百度一下),边缘节点服务器会产生很多用户请求日志,要对日志进行各种分析和原始日志打包,最终分析结果进行收费、让客户可以获取请求日志各种分析结果、为客户进行原始日志按域名按天按小时分割打包。 先说满足这样的大数据实时计算需要的几个基本组件(一定要注意版本问题,java大数...转载 2018-12-11 17:41:20 · 441 阅读 · 0 评论