ClouderaManager
文章平均质量分 86
魔界小皮蛋
代码就像人生,敲着敲着就老了,不行了
展开
-
项目简介
简介一下当前这个项目。近年来,在线教育产业发展十分迅速。统计数据显示,2011年到2018年我国在线教育市场规模达到2670.6亿元左右,七年翻了3.6倍。因为数据量过大且容易数据孤岛,所以知行者教育通过对访问和咨询主题8个需求、意向用户主题6个需求、有效线索主题3个需求、报名用户主题10个需求、学生出勤主题做出8个需求,一共有35个需求。用到了以下:Hadoop 主要用来分布式储存和分布式计算数据、Hive 将sql语句转化为 MapReduce 执行的工具,Hue 是一个图形化工具方便我们的操作,.原创 2021-01-21 20:06:33 · 404 阅读 · 1 评论 -
数仓题目1.0
数仓题目1、能否简介一下当前这个项目包含:•项目做了什么项目叫做:知行教育大数据分析平台(数仓开发项目)目的:对海量的业务数据进行指标分析。结果:对分析的结果做可视化的展示•用到了什么技术Hive ,Hue,Cloudera Manager,HDFS,Oozie,YARN,Zookeeper,Sqoop,拉链表…•解决了什么问题1.将各种数据源整合到一起统一数据中心,解决数据壁垒。2.保留历史变更数据,提供对细节变化分析支持。3.脏数据清洗,简化业务复杂结构数据。•用于哪个行业?行原创 2021-01-15 09:27:44 · 2218 阅读 · 0 评论 -
clouderaManager----知行教育大数据分析平台(mysql---------ods)
hive中要做的事创建数据库create database ods;、–设置一些配置alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;– 修改分区字段注解alter table PARTITION_PARAMS m原创 2020-12-28 20:44:52 · 614 阅读 · 1 评论 -
Clouderamanager详解
Cloudera Manager是什么?官方解释:Cloudera Manager是业界公认的用于管理生产中Hadoop的工具。Cloudera Manager是一个管理CDH的端到端的应用。作用: 管理 监控 诊断 集成如图1所示理解Cloudera Manager6.1 产生的背景6.1.1 Apache版本的大数据组件Hadoop的原始版本为Apache的开源版本,在国内的使用非常多。6.1.1.1 优点完全开源,更新速度很快大数据组件在部署过程中可以深刻了解其底层原理可以原创 2020-12-22 16:13:13 · 8839 阅读 · 2 评论 -
clouderaManager--------------知行教育大数据分析平台(三)
维度分析数据仓库中的数据分析处理,其实就是对数据按照维度进行分析维度大白话:以不同的视角去看待数据维度是事务的特征,如颜色、区域、时间等,可以根据不同的维度来对指标进行分析对比。维度也可以分为:定性维度:在事务的特性上去看待数据,按照地理位置分布计算指标、按照颜色来计算定量维度:在事务的数值上去看待数据,比如:按照分数的区间统计各区间的学生人数指标大白话:被看待的数据主题指标是衡量事务发展的标准,也叫度量,如价格,销量等;指标可以求和、求平均值等计算指标也分为:绝对数值指标原创 2020-12-22 15:27:52 · 653 阅读 · 2 评论 -
ClouderaManager 项目 -------------知行教育大数据分析平台(二)
4.4 报名用户看板此主题下指标需要能够下钻到小时数据。4.4.1 校区报名柱状图统计期内,全部报名客户中,各校区报名人数分布。4.4.2 学科报名柱状图统计期内,全部报名客户中,各学科报名人数分布。4.4.3 总报名量统计期内,已经缴费的报名客户总量。4.4.4 线上报名量总报名量中来源渠道为线上访客渠道的报名总量4.4.5 意向用户报名转化率统计期内,新增的意向客户中报名的客户占比。全部报名人数/全部新增的意向人数4.4.6 有效线索报名转化率线上报名量/线上有效线索量,此处原创 2020-12-21 21:37:59 · 739 阅读 · 1 评论 -
ClouderaManager 项目 -------------知行教育大数据分析平台(一)
1. 学习目标了解知行教育大数据的项目背景了解知行教育大数据的看板划分了解项目技术架构了解ClouderaManager的应用场景掌握ClouderaManager架构能够使用Vmware虚拟机环境2. 项目简介知行教育大数据分析平台,突出的是“真”,此项目是传智播客联合三方K12教育机构共同研发,并在上线发布后转换为课程,过程真实细致,采用主流的大数据技术和工具,内容特点:1.包含了需求分析、设计转换、研发、测试到上线部署维护的完整项目流程。2.真实的教育大数据业务逻辑,包括:访问、咨原创 2020-12-21 21:22:22 · 1980 阅读 · 1 评论