![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
文章平均质量分 53
百夜﹍悠ゼ
贪、嗔、痴、妄、生、死,皆虚无,人生苦短,大梦一场。
展开
-
Hive分区表的创建使用
分区表实际上就是对应一个 HDFS 文件系统上的独立的文件夹,该文件夹下是该分区所有的数据文件。Hive 中的分区就是分目录,把一个大的数据集根据业务需要分割成小的数据集。在查询时通过 WHERE 子句中的表达式选择查询所需要的指定的分区,这样的查询效率会提高很多。Hive 建分区表语句:create table dept_partition( deptno int, dname string, loc string ) partitioned by (month string) row for原创 2020-09-01 20:19:42 · 3110 阅读 · 0 评论 -
Hive 侧视图创建
HDFS文件路径: /users/userfriends/user_friends.csvcsv文件数据如下:创建外部表(ods)去除首行,字段间按照“,”分割。create external table if not exists dwd_user_friends (userid string,friends string)row format delimited fields terminated by ',' //字段按 ',' 分割location '/users/userfri原创 2020-08-11 20:03:11 · 224 阅读 · 0 评论 -
数据仓库分四层
数据库和数据仓库区别:数据库:为某种目的,保存的表型结构化数据。元数据和表数据存放在mysql中数据仓库:为某种目的,结构化/半结构化数据表数据本身不一定放在数据仓库中,还可以放在hdfs中。结构存放在mysql中。select * from tables where table_name = ‘userinfos’ 元数据 表select * from columns where table_name = ‘userinfos’ 元数据 列数据仓库分层DW: data warehouse 数原创 2020-06-23 22:31:45 · 6116 阅读 · 0 评论 -
Hive/Impala 自定义UDF函数一气呵成
Hive UDF开发流程:1.继承UDF类,重写evaluate()方法并实现函数逻辑(如果方法不存在则自己创建该方法)依赖包hadoop-common和hive-exec:<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common --><dependency> <groupId>org.apache.hadoop</groupId> <artifact原创 2020-06-16 19:10:24 · 638 阅读 · 0 评论 -
Linux zeppelin快速安装使用
Linux zeppelin安装zepplin-0.8.1下载链接:https://pan.baidu.com/s/1LDM1ZqJRFrozJ1sdfw1Q4w 提取码:p299前提要求:已安装搭建Hadoop环境和hive1.压缩包导入Linux,(我这里放在/opt文件夹下)2.解压文件[root@daibin1 opt]# tar -zxf zeppelin-0.8.1-bin-all.tgz3.移动文件到存储软件文件夹中[root@daibin1 opt]# mv zeppel原创 2020-06-14 13:39:24 · 777 阅读 · 0 评论 -
Hive 内部表和外部表区别、建表使用
数据库(Databases)数据库是表的集合,在HDFS中体现为一个同数据库名的文件夹,例如mydemo.db文件夹,默认存放在hive.metastore.warehouse.dir指向的数据仓库地址中(在hive-site.xml中指定,是HDFS文件夹)。hive-site.xml文件中:<property> <name>hive.metastore.warehouse.dir</name> <value>/usr/hive/warehouse原创 2020-06-11 02:15:33 · 511 阅读 · 0 评论 -
Linux 快速安装Hive
什么是Hive?基于Hadoop的数据仓库解决方案将结构化的数据文件映射为数据库表提供类sql的查询语言HQL(Hive Query Language若无Hive安装包点击此处自行提取:链接:https://pan.baidu.com/s/1Dciqipl9g5oPMwbNWkX5vg提取码:hkdwmysql驱动包链接:https://pan.baidu.com/s/1xseOgAQZFbrHEGf_CMPt5w 提取码:hdiv注意:Hive的安装运行之前,确保虚拟机已安装zoopk原创 2020-06-09 19:27:00 · 417 阅读 · 0 评论