网站日志流量系统----【统计分析模块】

模块开发----统计分析 每一种统计指标都可以跟各维度表进行钻取。 分组条件判别技巧 如果需求中出现 每xxx 各xxx 按xxx , 很大可能就是分组的字段条件 设置智能本地模式 : set hive.exec.mode.local.auto=true; 1. 流量分析 1.1 多维...

2018-11-24 21:45:24

阅读数 950

评论数 0

网站流量日志系统----【ETL模块 、数据表创建、数据导入、宽表等模块】

1. 模块开发----数据仓库设计 1.1 维度建模基本概念 维度建模是专门用于分析型数据库、数据仓库、数据集市建模的方法 . 专门适用于OLAP的设计模式存在着两种类型的表:事实表 维度表 维度表(dimension) : 看问题分析问题的角度 信息精但是不全 可跟事实表关系...

2018-11-22 18:04:15

阅读数 267

评论数 0

网站日志流量系统----【数据采集模块、数据预处理模块】

1. 模块开发----数据采集 1.1 需求 在网站 web 流量日志分析这种场景中,对数据采集部分的可靠性、容错能力要求通常不会非常严苛,因此使用通用的 flume 日志采集框架完全可以满足需求。 1. 2 Flume 日志采集系统 1.2.1 Flume 采集 Flume 采集系统的搭建相对简...

2018-11-22 17:59:27

阅读数 631

评论数 1

SQL增强

SQL增强 需求 : 统计今天每个小时分别有多个pv 分组字段 : 天 小时 天恰好就是分区字段 通过分区字段即可过滤出 真正的分子字段就一个 hour 编写sql的思路 : 首先明确开始关键字 , 如select 其次我们先跳过需要查询的东西 , 去...

2018-11-22 17:53:22

阅读数 71

评论数 0

大数据----【azkaban的部署及实战测试】

工作流程调度器 1. 工作流程调度系统产生背景 一个完整的数据分析系统通常都是由大量任务单元组成 : ​ shell脚本程序 , java程序 , MapReduce程序 , hive脚本等 各个任务单元之间存在时间先后依赖关系 为了更好地组织起这样的复杂执行计划 , 需要一个工作流程调...

2018-11-22 17:51:49

阅读数 134

评论数 0

网站流量日志系统知识详解----【点击流事件详解】

网站流量日志数据分析系统知识详解 1. 点击流数据模型 1.1 点击流概念 点击流(Click Stream)是指用户在网站上持续访问的轨迹。可以通过对网站日志的分析可以获得用户的点击流数据。 1.2 点击流模型生成 点击流数据在具体操作上是由散点状的点击日志数据梳理所得。点击数据在数据建模时存...

2018-11-21 23:18:28

阅读数 506

评论数 0

Hive----【DML操作 、对数据表的查操作】

Hive–DML操作 1. Load 加载操作时间数据文件移动到与Hive表对应的位置的出复制/移动操作. 语法结构 : load data [local] inpath 'filepath' [overwrite] into table tablename [partition (partcol...

2018-11-20 23:24:06

阅读数 46

评论数 0

Hive----【DDL操作、对数据表的操作】

Hive–DDL基本操作 Hive中错误分类 : Error while compiling statement hive编译器错误 sql语法问题 Error while processing statement hive执行期错误 应用逻辑上的问题 1. DDL操作 1.1 创建表 建...

2018-11-20 23:22:12

阅读数 90

评论数 0

Hive安装

Hive 安装部署 首先需要先安装好JDK和Hadoop , 配置好环境变量 , 由于我们是在实际工作中使用Hive , 因此我们需要配置mysql版本 . 安装Mysql yum安装mysql yum install mysql mysql-server mysql-devel 完...

2018-11-18 23:54:25

阅读数 20

评论数 0

大数据----【Hive入门】

Hive入门 1. 多彩缤纷的数据源 由上图可以看出数据的来源有很多. 业务系统数据 : 获取方式容易 , 成本低 通过接口调用获取 数据库dump获取 爬虫数据 : 爬虫 : 是按照一定的规则 , 自动的抓取万维网信息的脚本或者程序 … 2 ...

2018-11-18 23:52:49

阅读数 38

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭