- 博客(6)
- 收藏
- 关注
RSS订阅转载 大数据技术之Hive实战——Youtube项目（二）
三、项目原始数据youtube在此下载：https://pan.baidu.com/s/1we1KPA2IIEAGIJczyr2dMQ3.1、数据结构3.1.1、视频表 3.1.2、用户表 3.2 原始数据存放地HDFS 目录：视频数据集：/youtube/video/2008用户数据集：/youtube/u...
2019-05-07 10:09:22
672
转载 大数据技术之Hive实战——Youtube项目（一）
一、需求描述统计 Youtube 视频网站的常规指标，各种 TopN 指标：–统计视频观看数 Top10–统计视频类别热度 Top10–统计视频观看数 Top20 所属类别包含这 Top20 视频的个数–统计视频观看数 Top50 所关联视频的所属类别 Rank–统计每个类别中的视频热度 Top10–统计每个类别中视频流量 Top10...
2019-05-07 09:31:38
588
转载 Hive的学习总结
一、Hive的基本概念1.1 hive是什么？（1）Hive是建立在hadoop数据仓库基础之上的一个基础架构；（2）相当于hadoop之上的一个客户端，可以用来存储、查询和分析存储在hadoop中的数据；（3）是一种SQL解析引擎，能够将SQL转换成Map/Reduce中的Job在hadoop上执行。1.2...
2019-01-13 23:34:34
371
转载 Hive的学习总结
一、Hive的基本概念1.1 hive是什么？（1）Hive是建立在hadoop数据仓库基础之上的一个基础架构；（2）相当于hadoop之上的一个客户端，可以用来存储、查询和分析存储在hadoop中的数据；（3）是一种SQL解析引擎，能够将SQL转换成Map/Reduce中的Job在hadoop上执行。1.2...
2019-01-13 23:14:30
177
原创 Hive的安装过程
文章目录1.hadoop：1. hdfs:2.mapreduce：yarn：产生背景：hadoop1.0的模块：hadoop2.0YARN的架构：1. 主节点：resourcemanager1.1 ASM:1.2 Scheduler：FIFO:FIRST IN FIRST OUT 先进先出Fair：公平调度器Capacity：计算能力调度器 容量调度器从节点：nodemanager概念：...
2018-11-29 20:59:12
199
原创 HDFS两大核心
HDFS两大核心文件上传操作 1.客户端发送文件上传的请求给namenode 2.namenode会进行一系列的检查，文件是否存在，父目录，权限等 3.检查通过 namenode向客户端返回相应 4.客户端开始发送真正的文件上传请求 请求中包含了一个重要的内容，文件长度（分块个数 --> 存储的节点） 5.namenode开始进行计算，并向客户...
2018-11-29 20:52:59
373
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人