057 Hive项目案例过程

最新推荐文章于 2021-12-17 11:01:13 发布

weixin_33968104

最新推荐文章于 2021-12-17 11:01:13 发布

阅读量169

点赞数

文章标签：大数据

1.说明

　　这里只粘贴一张，图，主要针对的hive的项目的实践过程。

2.图

3.需求

　　统计PV

　　统计注册人数 =》这个是一个公司会关注的，每天的注册率。

　　统计ip

　　统计跳出率 =》 ip为1的人/总的ip人数

关注博主即可阅读全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_33968104

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

Hive数据分析案例

qq_35447918的博客

10-12

5537

第9章汽车销售数分析系统 1 创建数据库cardb hive>create database if not exists cardb; hive>use cardb; 2 创建数据表car hive>create external table cars(province string, month int, city string, country string, year int, cartype string, productor string, brand string, mo

Hive处理案例——Zebra业务数据清洗

Winyar的博客

07-21

1068

Zebra业务回顾 zebra业务回顾 zebra项目最开始阶段会对日志文件进行分析统计，针对apptype,userip等20个字段做了统计，然后把最后的结果落地到数据库里。这张表相当于总表（f_http_app_host）在企业里做到这步并没有结束，因为后续还要做数据分析，可能会针对此表进行多个维度的查询和统计，比如： 1.应用欢迎度 2.各网站表现 3.小区Http上网能力 4.小区上网...

参与评论您还未登录，请先登录后发表或查看评论

Hive数据仓库全流程开发

11-28

Hive数据仓库全流程开发

Hive项目流程，从0开始

小小鱼

12-15

382

一、测试环境搭建 1、建表（一个文件一张表）二、分析 1、※※※※※业务※※※※※ 2、根据业务找数据 3、数据分析（数据规模，特性，分布，关系） 4、技术选型 5、建模 6、在测试环境中模拟+验证解决方案 explain select … select …检查数据分布，规模，倾斜(group count的方法检查)… 三、生产环境搭建（数仓） 1、设备采购 2、装机 ha hadoop cluster NameNode SecondaryNameNode DataNode ResourceManager

Hive项目实战二

while false

09-12

1698

1.数据清洗 1)数据分析在video.txt中，视频可以有多个所属分类,每个所属分类用&符号分割,并且分割的两边有空格字符,多个相关视频又用“\t”进行分割。为了分析数据时方便对存在多个子元素的数据进行操作,我们首先进行数据重组清洗操作。具体做法：将所有的类别用“&”分割,同时去掉两边空格,多个相关视频 id 也使用“&”进行分割，这里看起来将"&amp...

hive案例-某粒影音需求

weixin_44747329的博客

07-15

206

一丶数据清洗 1.由于数据不符合数据分析要求需要改变格式首先过滤残缺的数据，既不合格的数据将分隔符统一统一数据的格式(如多余的空格，会导致分组时出错) 二丶建表导入数据 1.建立原始数据表 create table gulivideo_ori( videoID string, uploader string, age int, category array<string>, length int, views int, rate float, ratings int, commen

Hive 的综合案例

weixin_39953756的博客

07-10

1329

补充：hive自带的时间函数Unixtime(时间分为两类)将时间转换为时间戳，方便用来求两个时间点的时间间隔；-》常见：2015-08-31 00:04:37-》Unix timestamp，以格林威治时间为基准-》hive自带函数：unix_timestamp，from_unixtime-》场景：（2015-08-31 00:04:37和2015-09-28 11:04:37时间差）-》查看两...

大数据 hive 实战数据

04-07

在实际操作中，我们可能会使用Hive进行ETL（Extract, Transform, Load）过程，从原始数据中抽取、转换并加载到Hive表中。然后通过HQL进行数据探索、统计分析、报表生成等任务。此外，Hive还支持与其他大数据组件如...

hive综合应用案例-用户学历查询.zip

最新发布

05-24

在实际项目中，我们还需要考虑数据加载和ETL（提取、转换、加载）过程。数据通常来自多个源，可能需要预处理才能适配Hive表结构。这个案例中的"项目说明.zip"可能包含了数据导入步骤、数据清洗规则以及可能的业务...

基于Hive的项目实战视频数据集

02-27

基于Hive的项目实战视频数据集 videoId string, uploader string, age int, category array, length int, views int, rate float, ratings int, comments int, relatedId array

Hive项目实战笔记

Nube313的博客

04-14

405

Hive项目实战笔记（本人的学习笔记，可转载但请跟我说一声并在引用文中说明出处，希望和大家共同进步

hive的项目实现

m0_57228270的博客

12-17

1890

日志采集生产日志： 1.安装nginx sudo apt-get install nginx 2.上传shop.html文件到/var/www/html目录 3.浏览器访问 http://master/shop.html 网页每隔几秒刷新一次，就会产生一条访问日志采集日志：flume 从nginx服务器采集日志数据，存储到 hdfs 的 /web_log/年-月-日/小时/xxxxxxx /home/hadoop/web log/nginx_ memory_ hdfs. properties

零售项目: 第一天总结

weixin_43737594的博客

10-21

242

新零售项目项目背景介绍、业务需求、虚拟机环境准备；零售行业的发展历程地摊、货郎价格老板自己说了算不稳定，流动性大质量没有保障种类少百货商店门店货物多明码标价随进随出质量有所保证超级市场自选商品购物效率环境更好商品的包装等，竞争更激烈，质量也更高

hive 项目实战(2)

mmalan的博客

11-01

616

建表创建表这里总共需要创建4张表，明明只有两个数据文件，为什么要创建4张表呢？因为这里创建的表要使用orc的压缩方式，而不使用默认的textfile的方式，orc的压缩方式要想向表中导入数据需要使用子查询的方式导入，即把从另一张表中查询到的数据插入orc压缩格式的表汇中，所以这里需要四张表，两张textfile类型的表user和video，两张orc类型的表user_orc和video_or...

项目-Hive操作

simplelife12138的博客

01-14

319

第一个文件mydate.sql,设置文件使用的变量值 #!/bin/bash #注意:mycollection.sql放的是存放SQL代码的文件名 hive -hiveconf mydate="$(date +%Y%m%d)" -f mycollection.sql 第二个文件mycollection.sql,存放SQL代码 create table if not exists kp

Hive项目实战系列(3) | 业务分析

热门推荐

不温卜火

05-10

1万+

此次博主为大家带来的是Hive项目实战系列的第三部分，也是最终部分。目录1. 统计视频观看数Top102. 统计视频类别热度Top103. 统计出视频观看数最高的20个视频的所属类别以及类别包含Top20视频的个数4. 统计视频观看数Top50所关联视频的所属类别排序5. 统计每个类别中的视频热度Top10，以Music为例6. 统计每个类别中视频流量Top10，以Music为例7. 统计每...

Hive项目实战系列(1) | 项目创建与上传数据

不温卜火

05-10

8653

此次博主为大家带来的是Hive项目实战系列。目录一. 项目需求二. 项目2.1 数据结构2.2 上传数据2.3 ETL原始数据一. 项目需求统计谷粒影音视频网站的常规指标，各种TopN指标： 1–统计视频观看数Top10 2–统计视频类别热度Top10 3–统计视频观看数Top20所属类别 4–统计视频观看数Top50所关联视频的所属类别Rank 5–统计每个类别中的视频热度Top1...

Hive项目实战四

heima201907的博客

11-19

208

最终业务实现 1.视频观看数 Top10 使用order by做一个全局排序即可 selectvideoId,uploader,viewsfromuser_orcorderbyviewsdesclimit20; 2. 视频类别热度 Top10 需求分析：统计出每个类别有多少个视频，然后显示出视频最多的前10个，我们需要使用group by对视频类别进行聚合...

大数据Hive性能优化策略与实战案例

总结起来，Hive性能优化是一个系统性的过程，需要结合Hadoop的特性和业务场景，从数据模型、查询策略到硬件配置等多个角度进行综合优化。同时，持续监控和测试也是确保优化效果的重要环节。通过实践和经验积累，项目...