Maynor的博客

原创 30分钟轻松搭建网站应用__LAMP安装命令

30分钟轻松搭建网站应用5.2安装LAMP环境①键入如下命令安装LAMP环境，并开启相应服务：常见问题解答什么是LAMP？LAMP指的Linux（操作系统）、ApacheHTTP服务器，MySQL（有时也指MariaDB，数据库软件）和PHP（有时也是指Perl或Python）的第一个字母，一组常用来搭建动态网站或者服务器的开源软件，本身都是各自独立的程序，但是因为常被放在一起使用，拥有了越来越高的兼容度，共同组成了一个强大的Web应用程序平台。yum install -y httpd php

原创 Maven仓库安装

1.昨日内容回顾商城项目已完结，将在后面的项目实战中回顾。Maven：项目管理工具。管理jar包，管理项目JDK必须先搭建Maven环境变量：不能直接放在C盘。%MAVEN_HOME%\bin镜像配置：jar包都是从网上下载到本地仓库使用。中央仓库在境外，速度特别慢。一般会设置境内 镜像服务器仓库配置：设置本地仓库位置2.maven-part12.1简述及作用(1)Maven：是一款优秀的项目管理工具。作用：项目构建管理（生命周期自动化）依赖管理（针对jar包管理）项目信息

原创 访问咨询主题-增量采集（Oozie的使用）

注意点：业务系统中，数据表的后缀是年_月，这就表明随着时间推移，被采集的表的后缀是动态变化的。我们的脚本也要做到这一点这个功能要做成自动化的脚本，脚本能够每天定时执行增量采集，一天执行一次当天采集昨日数据。

原创 知行教育大数据分析数仓项目_面试题精华版

1.简介一下当前这个项目能够介绍一下你写的项目:我们这个大数据项目主要是解决了教育行业的一些痛点。首先，受互联网+概念，疫情影响，在线教育，K12教育等发展火热，越来越多的平台机构涌现。但是由于信息的共享利用不充分，导致企业多年积累了大量数据，而因为信息孤岛的问题，一直没有对这些数据进一步挖掘分析，因此也不能给企业的管理决策层提供有效的数据支撑。有鉴于此，我们做的这个教育大数据分析平台项目，将大数据技术应用于教育行业，用擅长分析的OLAP系统为企业经营提供数据支撑。具体的实现思路是，先建立企业的数据

原创 最新数仓面试题_知行教育数仓项目

能否简介一下当前这个项目

原创 知行教育数仓模拟面试+技术面可能问到的问题

大纲项目介绍第一部分我想先来介绍为什么要做教育数仓这个项目第二部分我想先来介绍我们这个项目用到的模型可能问到的问题

原创 知行教育项目之hive优化（二）

Hive在各方面优化的东西乱七八糟一堆。我们这个数仓项目，70%时间都在Hive上，30%的时间在业务分析，建模分析上。很痛苦，我们只想专心做业务分析，不想搞乱七八糟的这优化那优化的。后面学习Spark和Flink的时候就能体会到专心做业务的快感了。

原创 大数据面试题百日更新_Hive专题(Day13)

Hive和传统数据库(Mysql/Oracle)的区别在哪?查询语言不同,传统数据库用的是SQL语句,hive是集成的HQL语句.数据存储地方不同,不同于传统数据库存储在原始设备或本地文件系统(Raw Device or Local FS),Hive 存储在HDFS.执行方式不同,传统数据库是Excutor单元执行,hive是MapReduce同时hive执行延迟高,处理数据规模大,无索引(0.8版本后才加入位图索引,mysql有复杂的索引),都是hive与传统的区别....

原创 雪花模型 --模型的选择

原创 有效线索主题看板

有效线索主题看板：报名用户主题看板，该看板有三个需求。我们先来进行维度和指标的分析，维度包括年月日时，线上线下和新老客户，指标只有有效线索量。第一个需求是有效线索转化率。公式：有效线索量/咨询量。分母咨询量已经统计过，在这里可以直接使用。分子数据颗粒需要具体到天，所以统计维度也要增加天。有效线索转化率时间段趋势，则需要统计到小时。有效线索量需要增加一个新老客户维度。接下来是建模分析:首先在ODS层原始数据包括有有效线索表和意向客户表。其次是DWD层由于有效线索数据中的同样的数据只能录入一次,不存在去

原创 报名用户需求分析

看板4需求分析模板前言和前面的看板分析的方法一致。讲义给出的叫做：需求文档如图，我们要做的是：根据需求的要求，整理出指标和维度BI看板展示:需求分析2.1 校区报名柱状图说明：统计期内，全部报名客户中，各校区报名人数分布。展现：柱状图条件：年、月，校区维度：天区间，按查询条件来定指标：报名人数粒度：天/线上线下/校区数据来源：客户管理系统的customer_relationship、itcast_clazz报名课程表SQL：1.SELECT2. count( 1

原创 数仓项目拉链表详解

拉链表就是之前我们讲过的SCD2，它的优点是即满足了反应数据的历史状态，又能在最大程度上节省存储。

原创 SCD的三层

5.5.2 SCD1（缓慢渐变类型1）通过更新维度记录直接覆盖已存在的值。不维护记录的历史。一般用于修改错误的数据，即历史数据就是错误数据，除此没有他用。在数据仓库中，我们可以保持业务数据和数据仓库中的数据始终处于一致。可以在 Customer 维度中使用来自业务数据库中的 Business Key - CustomerID 来追踪业务数据的变化，一旦发生变化那么就将旧的业务数据覆盖重写。DW 中的记录根据业务数据库中的 CustomerID 获取了最新的 City 信息，直接更新到 DW 中。5