Hive
文章平均质量分 79
Hive技术
AIMaynor
个人博客:maynor1024.live,ai网站:api.maynor1024.live
展开
-
华为云云耀云服务器L实例评测|在Docker环境下部署Hive数据库
这是Maynor华为云云耀云服务器L实例评测|单节点环境下部署ClickHouse21.1.9.41数据库华为云云耀云服务器L实例评测|伪分布式环境下部署hadoop2.10.1华为云云耀云服务器L实例评测|在Docker环境下部署Hadoop云耀云服务器L实例是新一代的轻量应用云服务器,专门为中小企业和开发者打造,提供开箱即用的便利性。云耀云服务器L实例。原创 2023-09-20 12:00:00 · 1586 阅读 · 14 评论 -
每天一道大厂SQL题【Day21】华泰证券真题实战(三)
大家好,我是Maynor。相信大家和我一样,都有一个大厂梦,作为一名资深大数据选手,深知SQL重要性,接下来我准备用100天时间,基于大数据岗面试中的经典SQL题,以每日1题的形式,带你过一遍热门SQL题并给出恰如其分的解答。一路走来,随着问题加深,发现不会的也愈来愈多。但底气着实足了不少,相信不少朋友和我一样,日积月累才是最有效的学习方式!原创 2023-04-17 10:03:06 · 1640 阅读 · 5 评论 -
每天一道大厂SQL题【Day18】腾讯外包(微信相关)真题实战(三)
大家好,我是Maynor。相信大家和我一样,都有一个大厂梦,作为一名资深大数据选手,深知SQL重要性,接下来我准备用100天时间,基于大数据岗面试中的经典SQL题,以每日1题的形式,带你过一遍热门SQL题并给出恰如其分的解答。一路走来,随着问题加深,发现不会的也愈来愈多。但底气着实足了不少,相信不少朋友和我一样,日积月累才是最有效的学习方式!原创 2023-03-24 18:55:52 · 241 阅读 · 0 评论 -
每天一道大厂SQL题【Day15】微众银行真题实战(五)
大家好,我是Maynor。相信大家和我一样,都有一个大厂梦,作为一名资深大数据选手,深知SQL重要性,接下来我准备用100天时间,基于大数据岗面试中的经典SQL题,以每日1题的形式,带你过一遍热门SQL题并给出恰如其分的解答。一路走来,随着问题加深,发现不会的也愈来愈多。但底气着实足了不少,相信不少朋友和我一样,日积月累才是最有效的学习方式!原创 2023-03-09 15:00:00 · 1140 阅读 · 0 评论 -
每天一道大厂SQL题【Day14】微众银行真题实战(四)
大家好,我是Maynor。相信大家和我一样,都有一个大厂梦,作为一名资深大数据选手,深知SQL重要性,接下来我准备用100天时间,基于大数据岗面试中的经典SQL题,以每日1题的形式,带你过一遍热门SQL题并给出恰如其分的解答。一路走来,随着问题加深,发现不会的也愈来愈多。但底气着实足了不少,相信不少朋友和我一样,日积月累才是最有效的学习方式!原创 2023-03-07 08:45:43 · 1340 阅读 · 1 评论 -
每天一道大厂SQL题【Day13】微众银行真题实战(三)
大家好,我是Maynor。相信大家和我一样,都有一个大厂梦,作为一名资深大数据选手,深知SQL重要性,接下来我准备用100天时间,基于大数据岗面试中的经典SQL题,以每日1题的形式,带你过一遍热门SQL题并给出恰如其分的解答。一路走来,随着问题加深,发现不会的也愈来愈多。但底气着实足了不少,相信不少朋友和我一样,日积月累才是最有效的学习方式!原创 2023-02-27 14:08:53 · 536 阅读 · 0 评论 -
每天一道大厂SQL题【Day12】微众银行真题实战(二)
大家好,我是Maynor。相信大家和我一样,都有一个大厂梦,作为一名资深大数据选手,深知SQL重要性,接下来我准备用100天时间,基于大数据岗面试中的经典SQL题,以每日1题的形式,带你过一遍热门SQL题并给出恰如其分的解答。一路走来,随着问题加深,发现不会的也愈来愈多。但底气着实足了不少,相信不少朋友和我一样,日积月累才是最有效的学习方式!原创 2023-02-22 20:30:00 · 2215 阅读 · 0 评论 -
每天一道大厂SQL题【Day10】电商分组TopK实战
大家好,我是Maynor。相信大家和我一样,都有一个大厂梦,作为一名资深大数据选手,深知SQL重要性,接下来我准备用100天时间,基于大数据岗面试中的经典SQL题,以每日1题的形式,带你过一遍热门SQL题并给出恰如其分的解答。一路走来,随着问题加深,发现不会的也愈来愈多。但底气着实足了不少,相信不少朋友和我一样,日积月累才是最有效的学习方式!原创 2023-02-15 16:00:00 · 2100 阅读 · 1 评论 -
每天一道大厂SQL题【Day09】充值日志SQL实战
大家好,我是Maynor。相信大家和我一样,都有一个大厂梦,作为一名资深大数据选手,深知SQL重要性,接下来我准备用100天时间,基于大数据岗面试中的经典SQL题,以每日1题的形式,带你过一遍热门SQL题并给出恰如其分的解答。一路走来,随着问题加深,发现不会的也愈来愈多。但底气着实足了不少,相信不少朋友和我一样,日积月累才是最有效的学习方式!原创 2023-02-13 15:00:00 · 1113 阅读 · 0 评论 -
每天一道大厂SQL题【Day08】服务日志SQL统计
大家好,我是Maynor。相信大家和我一样,都有一个大厂梦,作为一名资深大数据选手,深知SQL重要性,接下来我准备用100天时间,基于大数据岗面试中的经典SQL题,以每日1题的形式,带你过一遍热门SQL题并给出恰如其分的解答。一路走来,随着问题加深,发现不会的也愈来愈多。但底气着实足了不少,相信不少朋友和我一样,日积月累才是最有效的学习方式!原创 2023-02-10 19:15:00 · 785 阅读 · 1 评论 -
每天一道大厂SQL题【Day07】教育领域SQL实战
大家好,我是Maynor。相信大家和我一样,都有一个大厂梦,作为一名资深大数据选手,深知SQL重要性,接下来我准备用100天时间,基于大数据岗面试中的经典SQL题,以每日1题的形式,带你过一遍热门SQL题并给出恰如其分的解答。一路走来,随着问题加深,发现不会的也愈来愈多。但底气着实足了不少,相信不少朋友和我一样,日积月累才是最有效的学习方式!本题共有10道小题,有基础的小伙伴可直接从第8题开始写~原创 2023-02-09 00:00:00 · 1467 阅读 · 2 评论 -
每天一道大厂SQL题【Day05】活跃用户统计
大家好,我是Maynor。相信大家和我一样,都有一个大厂梦,作为一名资深大数据选手,深知SQL重要性,接下来我准备用100天时间,基于大数据岗面试中的经典SQL题,以每日1题的形式,带你过一遍热门SQL题并给出恰如其分的解答。一路走来,随着问题加深,发现不会的也愈来愈多。但底气着实足了不少,相信不少朋友和我一样,日积月累才是最有效的学习方式!原创 2023-02-05 09:00:00 · 1310 阅读 · 4 评论 -
每天一道大厂SQL题【Day04】大数据排序统计
大家好,我是Maynor。相信大家和我一样,都有一个大厂梦,作为一名资深大数据选手,深知SQL重要性,接下来我准备用100天时间,基于大数据岗面试中的经典SQL题,以每日1题的形式,带你过一遍热门SQL题并给出恰如其分的解答。一路走来,随着问题加深,发现不会的也愈来愈多。但底气着实足了不少,相信不少朋友和我一样,日积月累才是最有效的学习方式!原创 2023-02-03 15:30:00 · 1771 阅读 · 3 评论 -
每天一道大厂SQL题【Day03】订单量统计
大家好,我是Maynor。相信大家和我一样,都有一个大厂梦,作为一名资深大数据选手,深知SQL重要性,接下来我准备用100天时间,基于大数据岗面试中的经典SQL题,以每日1题的形式,带你过一遍热门SQL题并给出恰如其分的解答。一路走来,随着问题加深,发现不会的也愈来愈多。但底气着实足了不少,相信不少朋友和我一样,日积月累才是最有效的学习方式!原创 2023-02-02 08:00:00 · 1447 阅读 · 3 评论 -
Hive的面试题总结
Hive基础面试题转载 2022-05-04 14:34:14 · 672 阅读 · 1 评论 -
基于Hive的YouTube电影数据分析
数据链接:链接:https://pan.baidu.com/s/10P1Bmjx-y17R8jmy4q685g提取码:79a0一、项目需求1.统计视频观看数 Top102.统计视频类别热度Top103.统计出视频观看数最高的20个视频的所属类别以及类别包含这Top20视频的个数4.统计视频观看数Top50所关联视频的所属类别的热度排名5.统计每个类别中的视频热度Top10,以 Music为例6.统计每个类别中视频流量 Top10 ,以 Music为例7.统计上传视频最多的用户Top10以转载 2021-12-25 15:20:20 · 3684 阅读 · 3 评论 -
基于Hive的淘宝用户行为数据分析
本数据集取至阿里云天池的数据集,数据集名称为User behavior Data from Taobao for Recommendation,数据集包括用户ID,商品ID,商品类目ID,行为类型,时间戳,数据总条目数为100,150,807行。1、2、图1-1 原始数据集部分截图该数据集共有100,150,807行与5个属性,如表中的userid对应的是用户id,itemid对应的是商品id,categoryid对应的是商品类目ID,type对应的是行为类型,timestamp对应的是时间戳。原创 2021-12-20 17:20:54 · 6379 阅读 · 1 评论 -
大数据行业应用之Hive数据分析航班线路相关的各项指标
项目概要1.项目背景:飞机航班经常会因为各种原因,如天气原因,雷雨、大雾、大风等情况,或机场原因,导致航班的延误甚至取消,现在有一批航班的历史数据,基于这些数据,对航班的各种重要指标做统计分析,如最繁忙航线、某机场起降最频繁时段等等;最后,利用机器学习,对航班延误做预测,旅客可参考这些统计及预测结果调整行程安排。2.建设目标:亲自动手搭建项目所需的实验环境:搭建hadoop集群、分析航空数据的一些指标;需求分析1.需求介绍:分析航班相关的各项指标2.功能点:数据清洗功能描述:对航班数据fli原创 2021-12-09 14:47:04 · 3743 阅读 · 1 评论 -
用Hue分析马老师的B站视频弹幕----我发现了一个新词
CREATE DATABASE IF NOT EXISTS test;use test;创建数据库create external table MBGAnalyse (dm_time STRING,send_date STRING,send_month STRING,send_time STRING,text STRING,user_id STRING) row format delimited fields terminated by ',';load data inpath '/user/原创 2020-12-05 23:06:27 · 406 阅读 · 1 评论 -
Hive 远程连接的方法
启动命令cd /export/servers/hivenohup bin/hive --service metastore &nohup bin/hive --service hiveserver2 &nohup hive --service metastore &nohup hive --service hiveserver2 &添加依赖jar包启动成功原创 2021-12-08 10:41:02 · 1463 阅读 · 0 评论 -
❤️Hive的基本知识(三)Hive中的函数大全❤️
???? Hive中的函数针对内置的函数,可以根据函数的应用类型进行归纳分类,比如:数值类型函数、日期类型函数、字符串类型函数、集合函数、条件函数等;针对用户自定义函数,可以根据函数的输入输出行数进行分类,比如:UDF、UDAF、UDTF。???? 内置函数分类:???? 字符串函数:字符串长度函数:length字符串反转函数:reverse字符串连接函数:concat带分隔符字符串连接函数:concat_ws字符串截取函数:substr,substring字符串转大写函数:upper原创 2021-09-08 20:26:46 · 685 阅读 · 2 评论 -
❤️Hive的基本知识(二)Hive中的各种表❤️
默认情况下创建的表就是内部表,Hive拥有该表的结构和文件。换句话说,Hive完全管理表(元数据和数据)的生命周期,类似于RDBMS中的表。外部表中的数据不是Hive拥有或管理的,只管理表元数据的生命周期。无论内部表还是外部表,Hive都在Hive Metastore中管理表定义及其分区信息。当Hive表对应的数据量大、文件多时,为了避免查询时全表扫描数据,Hive支持根据用户指定的字段进。静态分区:指的是分区的字段值是由用户在加载数据的时候手动指定的。除表的元数据,并保持HDFS位置中的实际数据不变。原创 2021-09-08 15:23:21 · 1097 阅读 · 0 评论 -
❤️Hive的基本知识(一)❤️
???? Hive架构????Hive 组件用户接口:包括 CLI、JDBC/ODBC、WebGUI。其中,CLI(command line interface)为shell命令行;Hive中的Thrift服务器允许外部客户端通过网络与Hive进行交互,类似于JDBC或ODBC协议。WebGUI是 通过浏览器访问Hive。元数据存储:通常是存储在关系数据库如 mysql/derby中。Hive 中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等。Dri原创 2021-09-08 14:10:47 · 405 阅读 · 0 评论 -
大数据面试题百日更新_Hive专题(Day12)
2.hive 有索引吗Hive 支持索引,但是 Hive 的索引与关系型数据库中的索引并不相同,比如,Hive 不支持主键或者外键。Hive 索引可以建立在表中的某些列上,以提升一些操作的效率,例如减少MapReduce 任务中需要读取的数据块的数量。在可以预见到分区数据非常庞大的情况下,索引常常是优于分区的。虽然 Hive 并不像事物数据库那样针对个别的行来执行查询、更新、删除等操作。它更多的用在多任务节点的场景下,快速地全表扫描大规模数据。但是在某些场景下,建立索引还是可以提高 Hive原创 2021-04-11 23:27:05 · 9080 阅读 · 0 评论 -
Hive补充之窗口函数
我们在使用over()窗口函数时,over()函数中的这三个函数可组合使用也可以不使用。我们常使用的窗口范围是ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW(表示从起点到当前行),常用该窗口来计算累加。ntile(n) 把有序分区中的行分发到指定数据的组中,各个组有编号,编号从1开始,对于每一行,ntile返回此行所属的组的编号。over()函数中如果不使用这三个函数,窗口大小是针对查询产生的所有数据,如果指定了分区,窗口大小是针对每个分区的数据。原创 2021-03-09 15:00:40 · 1639 阅读 · 0 评论 -
大数据面试题百日更新_Hive专题(Day13)
Hive和传统数据库(Mysql/Oracle)的区别在哪?查询语言不同,传统数据库用的是SQL语句,hive是集成的HQL语句.数据存储地方不同,不同于传统数据库存储在原始设备或本地文件系统(Raw Device or Local FS),Hive 存储在HDFS.执行方式不同,传统数据库是Excutor单元执行,hive是MapReduce同时hive执行延迟高,处理数据规模大,无索引(0.8版本后才加入位图索引,mysql有复杂的索引),都是hive与传统的区别....原创 2021-01-12 21:17:43 · 772 阅读 · 1 评论 -
hive启动快捷指令
cd /export/servers/hive-1.1.0-cdh5.14.0nohup bin/hive --service metastore &nohup bin/hive --service hiveserver2 &原创 2020-12-30 19:55:24 · 390 阅读 · 0 评论 -
Hive的优化命令
set hive.exec.mode.local.auto=true; //开启本地mr//设置local mr的最大输入数据量,当输入数据量小于这个值时采用local mr的方式,默认为134217728,即128Mset hive.exec.mode.local.auto.inputbytes.max=51234560;//设置local mr的最大输入文件个数,当输入文件个数小于这个值时采用local mr的方式,默认为4set hive.exec.mode.local.auto.inpu原创 2020-12-11 15:34:20 · 362 阅读 · 0 评论 -
Hive 基本操作(创建数据库与创建数据库表)
二、Hive基本操作2.1、创建数据库与创建数据库表创建数据库操作创建数据库create database if not exists myhive;use myhive;说明:hive的表存放位置模式是由hive-site.xml当中的一个属性指定的<name>hive.metastore.warehouse.dir</name><value>/user/hive/warehouse</value>创建数据库并指定hdfs存储位置原创 2020-12-02 16:20:53 · 11100 阅读 · 0 评论