qq_45763007的博客

事实表：每个数据仓库都包含一个或者多个事实数据表。事实数据表可能包含业务销售数据，如销售商品所产生的数据，与软件中实际表概念一样 维度：说明数据，维度是指可指定不同值的对象的描述性属性或特征。例如，地理位置的维度可以包括“纬度”、“经度”或“城市名称”。“城市名称”维度的值可以为“旧金山”、“柏林”或“新加坡”。 指标：衡量数据，指标是指可以按总数或比值衡量的具体维度元素。例如，维度“城市”可以关联指标“人口”，其值为具体城市的居民总数。 维度和指标的关系：虽然维度和指标可以独立使用，但常见的还是相互结合使

DWD层维度建模 DWD 层需构建维度模型，一般采用星型模型，呈现的状态一般为星座模型。 维度建模一般按照以下四个步骤： 选择业务过程→声明粒度→确认维度→确认事实 DWD层事实表设计原则 联系维度的外键+度量值 DWS层建模 统计各个主题对象的当天行为，服务于DWT 层的主题宽表，以及一些业务明细数据， 应对特殊需求（例如，购买行为，统计商品复购率） DWS层表设计原则 通过外键获取相关的度量值，整合多个dwd事实表度量值构成新表。 DWT层建模 以分析的主题对象为建模驱动，基于上层的应用和产品的指标

**一、**Spring Boot 入门 1、Spring Boot 简介 简化Spring应用开发的一个框架； 整个Spring技术栈的一个大整合； J2EE开发的一站式解决方案； 2、微服务 2014，martin fowler 微服务：架构风格（服务微化） 一个应用应该是一组小型服务；可以通过HTTP的方式进行互通； 单体应用：ALL IN ONE 微服务：每一个功能元素最终都是一个可独立替换和独立升级的软件单元； 详细参照微服务文档 3、环境准备 http://www.gulixueyuan.c

一、Yarn简介 1、Yarn是什么 Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者） 一种新的Hadoop资源管理器，一个通用资源管理系统 为上层提供统一的资源管理与任务调度及监控，提高了集群管理效率、资源使用率、数据共享效率 2、产生背景 在Hadoop1.x中MapReduce是Master/Slave结构，在集...

分布式文件系统HDFS 一、分布式文件系统HDFS 1、产生背景 传统的本地文件系统(单机式)，在数据量增长过快、数据备份、数据安全性、操作使用便捷性上存在严重不足。 2、特点介绍 高容错和高可用性，硬件错误是常态而不是异常 HDFS设计为运行在普通硬件上，所以硬件故障是很正常的。HDFS提供文件存储副本策略，可以实现错误自检并快速自动恢复。个别硬件的损坏不影响整体数据完整性和计算任务的正常执行...

一、分析MapReduce执行过程 MapReduce运行的时候，会通过Mapper运行的任务读取HDFS中的数据文件，然后调用自己的方法，处理数据，最后输出。Reducer任务会接收Mapper任务输出的数据，作为自己的输入数据，调用自己的方法，最后输出到HDFS的文件中。整个流程如图： 二、Mapper任务的执行过程详解 每个Mapper任务是一个java进程，它会读取HDFS中的文件，解析...

Hadoop初识 1.大数据概念 2.Hadoop的思想之源 3.Hadoop背景介绍 3.1.什么是Hadoop 3.2.Hadoop产生背景 4.Hadoop组成 5.Hadoop的优势 6.HADOOP生态圈以及各组成部分的简介 1.大数据概念     大数据指无法在一定时间内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、...

一些基础知识点 1，面向对象的特点： 封装：对现有事物的一种客观抽象。 继承：在封装的基础上，展现客观的依赖，层级关系。 多态：一种事物的多种表现方式。 2，shell脚本 表示使用的解释器路径 #! /bin/bash echo "hello world!" 脚本的执行方法有几种？ #! 新开一个会话去执行脚本文件 sh filename.sh #! 在当前会话窗口执行 sour...