![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
jason2016y
这个作者很懒,什么都没留下…
展开
-
如何读懂大数据平台
其实这就是想告诉你的大数据的三个发展方向,平台搭建 优化 运维 监控、大数据开发 设计 架构、数据分析 挖掘。请不要问我哪个容易,哪个前景好,哪个钱多。本文将从以下十个章节介绍大数据平台,希望能给大数据开发初学者、爱好者一些支持。第一章:初识hadoop第二章:更高效的WordCount第三章:把别处的数据搞到Hadoop上第四章:把Hadoop上的数据搞到别处去第五章:快一点吧,我...转载 2018-11-01 16:18:15 · 200 阅读 · 0 评论 -
YARN的架构及原理
YARN产生背景 a)JobTracker单点故障 b)JobTracker承受的访问压力大,影响系统的扩展性 c)不支持MapReduce之外的计算框架,比如storm、spark、flink什么是YARN YARN是Hadoop2.0版本引进的资源管理系统,直接从MR1演化而来。 核心思想:将MR1中的JobTracker的资源管理和作业调度两个功能分开,分别由ResourceM...转载 2018-09-03 16:29:45 · 220 阅读 · 0 评论 -
数据仓库的架构与设计
公司之前的数据都是直接传到Hdfs上进行操作,没有一个数据仓库,趁着最近空出几台服务器,搭了个简陋的数据仓库,这里记录一下数据仓库的一些知识。涉及的主要内容有:什么是数据仓库? 数据仓库的架构 数据仓库多维数据模型的设计1. 什么是数据仓库1.1 数据仓库的概念官方定义数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合,用于对管理决策过程的支持...转载 2018-08-29 18:37:32 · 507 阅读 · 0 评论 -
用户画像2种数据存储的方式
目前,越来越多的企业,在大数据应用上,都会选择用户画像这一主题,为什么呢?因为用户画像相对于做推荐以及机器学习等简单容易的多,做画像,更多是就是对用户数据的整合,然后做一些用户聚类、用推荐算法,比如基于用户的推荐和基于商品的推荐,获取用户或者进行商品营销应用。而在我们的实际应用中,不仅有用户画像,而且有关于物的画像,比如设备画像。然而,大多数情况下有一种常见的错误想法是画像维度的数据越多越好,...转载 2018-08-29 17:55:43 · 1088 阅读 · 0 评论 -
Apache Kylin在绿城客户画像系统中的实践
前言作为国内知名的房地产开发商,绿城经过24年的发展,已为全国25万户、80万人营造了美丽家园,并将以“理想生活综合服务提供商”为目标,持续为客户营造高品质的房产品和生活服务。2017年,绿城理想生活集团成立,围绕客户全生活链、房屋全生命周期,为客户提供从买房子到房屋的保养维护,再到业主全方位的生活服务。为此构建了绿城+App生活服务平台、房产营销数字化平台及房屋4S服务平台,这些系统的构...转载 2018-08-29 17:53:32 · 245 阅读 · 0 评论 -
用户画像
一、 前言大数据时代已经到来,企业迫切希望从已经积累的数据中分析出有价值的东西,而用户行为的分析尤为重要。利用大数据来分析用户的行为与消费习惯,可以预测商品的发展的趋势,提高产品质量,同时提高用户满意度。本课程是基于大型电商公司的真实用户画像中提练出的精华内容,旨在培养学员了解用户画像的内容,掌握构建用户画像的方法。二、 初识用户画像 右边是一个人的基本属性,通过一个...转载 2018-08-29 16:11:52 · 3308 阅读 · 0 评论 -
ldap 创建用户和组
1.为每个新的用户创建个LDIF文件#cat zhouly.ldifdn:uid=zhouly,ou=People,dc=prod,dc=hadoop,dc=feidai,dc=comobjectClass:accountobjectClass:posixAccountobjectClass:topobjectClass:shadowAccountuid:zhoulycn:zhou...转载 2019-08-28 15:15:22 · 3329 阅读 · 0 评论