Hive项目实战一

最新推荐文章于 2024-11-07 20:45:38 发布
最新推荐文章于 2024-11-07 20:45:38 发布
阅读量290 收藏
点赞数
分类专栏： Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010395024/article/details/103142416
版权

1.需求描述

统计某视频网站的常规指标,各种 TopN 指标:
        视频观看数 Top10
        视频类别热度 Top10
        视频观看数 Top20 所属类别包含这 Top20 视频的个数
        视频观看数 Top50 所关联视频的所属类别的热度排名
        每个类别中的视频热度 Top10，以Music为例
        每个类别中视频流量 Top10，以Music为例
        上传视频最多的用户 Top10 以及他们上传的视频
        每个类别视频观看数 Top10

2.数据源结构说明

数据源1： user.txt

数据样例:     



  • barelypolitical        151        5106
     


  • bonk65        89        144
     


  • camelcars        26        674

     

数据样例中的三个字段结构：

最低0.47元/天 解锁文章
hive 项目实战(2)
mmalan的博客
11-01 642
建表 创建表 这里总共需要创建4张表，明明只有两个数据文件，为什么要创建4张表呢？因为这里创建的表要使用orc的压缩方式，而不使用默认的textfile的方式，orc的压缩方式要想向表中导入数据需要使用子查询的方式导入，即把从另一张表中查询到的数据插入orc压缩格式的表汇中，所以这里需要四张表，两张textfile类型的表user和video，两张orc类型的表user_orc和video_or...
Hive数仓实战项目
weixin_45906989的博客
09-03 1843
教育项目
Hive案例项目实战
蔡政洁的博客
10-30 3851
目录一、案例项目实施方案二、 RegexSerDe处理数据三、数据拆分四、UDF数据转换五、数据分析六、 一、案例项目实施方案 拿到源数据access.log之后，准备工作如下： 1.数据进行预处理，加载hive表之前 >>MR程序处理 >>正则表达式(企业推荐） >>python脚本 2.表拆分，源数据不变，创建对应业务需求的字表 3.基于子表的基础之上： 3-1.数据文件存储格式:orc/parquet 3-2.数据文件压缩：snappy 3-3.m
Hive详解
最新发布
weixin_42795092的博客
11-07 1236
有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL数据库的用户名和密码，只需要连接metastore 服务即可。其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储，说白了hive可以理解为一个将SQL转换为MapReduce的任务的工具，甚至更进一步可以说hive就是一个MapReduce的客户端。在hive运行的服务器上，确保已经启动metastore服务和hiveserver2服务，如果没有启动，则执行以下语句。
大数据技术之Hive实战——Youtube项目（一）
a376712116的博客
07-16 6767
一、需求描述 统计 Youtube 视频网站的常规指标，各种 TopN 指标： –统计视频观看数 Top10 –统计视频类别热度 Top10 –统计视频观看数 Top20 所属类别包含这 Top20 视频的个数 –统计视频观看数 Top50 所关联视频的所属类别 Rank –统计每个类别中的视频热度 Top10 –统计每个类别中视频流量 Top10 –统计上传视频最多的用户 Top...
Hive项目实战二
while false
09-12 1740
1.数据清洗   1)数据分析 在video.txt中，视频可以有多个所属分类,每个所属分类用&符号分割,并且分割的两边有空格字符,多个相关视频又用“\t”进行分割。为了分析数据时方便对存在多个子元素的数据进行操作,我们首先进行数据重组清洗操作。 具体做法：将所有的类别用“&”分割,同时去掉两边空格,多个相关视频 id 也使用“&”进行分割，这里看起来将"&amp...
hive实战项目：旅游集市数仓建设
thosakapie的博客
03-02 1755
停留点表dwm_staypoint_msk_d与用户画像维表dim_usertag_msk_m 通过mdn关联，按mdn、county_id、resi_county_id分组，使用calLength(grid_id, resi_grid_id) 传入网格id、居住地id，算出出行距离，并计算每个用户到每个县的累计出行时间，然后取出 累计时间最大值超过3小时（180分钟），出行距离大于10km的用户。按照业务划分，如流量、订单、用户等，生成字段比较多的宽表，用于提供后续的业务查询，OLAP分析，数据分发等。
hive基础【hive项目实战】
weixin_43923463的博客
04-07 3638
一 数据结构 1 视频表 字段 备注 详细信息 video id 视频唯一id（String） 11位字符串 uploader 视频上传者（String） 上传视频的用户名String age 视频年龄（int） 视频在平台上的整数天 category 视频类别（Array） 上传视频指定的视频分类 length 视频长度（Int） 整形数字标识的视频长度 views 观看次数（Int） 视频被浏览的次数 rate 视频评分（Double） 满分5分 Rat
大数据 hive 实战数据
04-07
在大数据处理领域，Hive是一个极其重要的工具，它被广泛应用于大数据分析和数据仓库操作。本实战数据集主要涉及两个核心部分：`video`数据和`user`数据，这些都是构建大数据分析模型的基础元素。让我们深入探讨一下...
【Hive】（十四）Hive 项目实战之电子商务消费行为分析_hive项目实战
2401_84159813的博客
05-06 792
Hive 学习过程中的一个练习项目，如果不妥的地方或者更好的建议，欢迎指出！😁数据结构数据清洗基于Hive的数据分析这里通过UDF自定义 MD5加密函数 ，对地址、邮箱等信息进行加密。-- md5 udf自定义加密函数Clean and Mask customer_details 创建明细表。
hive项目实战参考
蒯厅博客
08-13 354
hive项目实战参考
基于Hive的项目实战视频数据集
02-27
基于Hive的项目实战视频数据集 videoId string, uploader string, age int, category array, length int, views int, rate float, ratings int, comments int, relatedId array
基于Hive的项目实战视频原始数据集
02-27
基于Hive的项目实战视频原始数据集，格式为 videoId string, uploader string, age int, category array, length int, views int, rate float, ratings int, comments int, relatedId array
Hive项目实战笔记
Nube313的博客
04-14 426
Hive项目实战笔记 （本人的学习笔记，可转载但请跟我说一声并在引用文中说明出处，希望和大家共同进步
Hive项目实战系列(1) | 项目创建与上传数据
不温卜火
05-10 8684
  此次博主为大家带来的是Hive项目实战系列。 目录一. 项目需求二. 项目2.1 数据结构2.2 上传数据2.3 ETL原始数据 一. 项目需求 统计谷粒影音视频网站的常规指标，各种TopN指标： 1–统计视频观看数Top10 2–统计视频类别热度Top10 3–统计视频观看数Top20所属类别 4–统计视频观看数Top50所关联视频的所属类别Rank 5–统计每个类别中的视频热度Top1...
大数据开发——Hive实战案例
weixin_44606952的博客
11-25 6011
1. 创建表结构 1.1 视频表结构 1.2 用户表结构 2. 准备工作 2.1 创建临时表 2.2 创建最终使用表 2.3 对创建表进行解读 3. 业务分析
HiveSQL电商分析案例30题
格子衫
11-03 699
问题导读： 1、如何通过UDF自定义 MD5加密函数 ，对地址、邮箱等信息进行加密？ 2、如何对表内容进行检查？ 3、如何进行数据分析？ 一、前言 Hive 学习过程中的一个练习项目，如果不妥的地方或者更好的建议，欢迎指出！我们主要进行一下一些练习： 数据结构 数据清洗 基于Hive的数据分析 二、项目需求 首先和大家讲一下这个项目的需求： 「对某零售企业最近1年门店收集的数据进行数据分析」 潜在客户画像 ...
Hive实战企业级项目之谷粒影音统计各种TopN问题
weixin_42759988的博客
06-06 3555
说明：在学习hive的过程中，跟着尚硅谷教程做了一次hive的项目实战，作为对hive的结业学习。以shang是详细笔记。
hadoop hive数仓实战项目
08-24
Hadoop Hive数仓实战项目是基于Hadoop和Hive技术的数据仓库项目。在这个项目中，使用Hadoop集群来存储和处理大规模的数据，并使用Hive作为数据仓库的查询和分析工具。 在项目中，首先需要添加一个hadoop用户组，并创建一个hadoop用户，并设置用户密码。然后，切换到hadoop用户，并启动Hive。通过Hive，可以执行一系列的命令，如展示数据库、退出等操作。 引用中提到，Hive建立在Hadoop之上，具有与Hadoop相同的可扩展性，可以轻松应对大规模的数据处理需求。这意味着Hadoop Hive数仓实战项目可以处理大规模的数据，并能够支持超过1000个节点的Hadoop集群。 另外，引用中提到了一些配置文件的重要性，如hive-site.xml和hive-default.xml，它们可以通过设置-hiveconf参数来进行配置。 综上所述，Hadoop Hive数仓实战项目是一个基于Hadoop和Hive技术的大规模数据仓库项目，可以通过Hive进行数据查询和分析，并具有与Hadoop相同的可扩展性。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [大数据开发基础入门与项目实战（三）Hadoop核心及生态圈技术栈之3.数据仓库工具Hive基础](https://blog.csdn.net/CUFEECR/article/details/121189073)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值