Hive杂谈

最新推荐文章于 2024-11-07 16:41:13 发布
最新推荐文章于 2024-11-07 16:41:13 发布
阅读量149 收藏
点赞数
分类专栏： 大数据 文章标签： Hive 操作 原理 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/s127838498/article/details/84035205
版权
构建在Hadoop上的数据仓库平台，为数据仓库管理提供了许多功能
  • 定义了一种类SQL语言HiveQL。可以看成是仍SQL到Map-Reduce的映射器
  • 提供Hive shell、JDBC/ODBC、Thrift客户端等接
先上一个结构图,方便现有一个整体上的认识

image在这里插入图片描述

安装和配置Hive
安装模式：
（*）嵌入模式：不需要使用MySQL，使用Hive自带的Derby数据库存储Hive的元信息
（*）本地模式、远程模式：都需要MySQL
准备工作：
    1、解压  tar -zxvf apache-hive-2.3.0-bin.tar.gz -C ~/training/
    2、设置环境变量 vi  ~/.bash_profile
        HIVE_HOME=/root/training/apache-hive-2.3.0-bin
        export HIVE_HOME

        PATH=$HIVE_HOME/bin:$PATH
        export PATH
         
核心的配置文件  conf/hive-site.xml
1、安装Hive的嵌入模式
特点：（1）使用自带的Derby
              （2）只支持一个连接
              （3）用于开发和测试
        创建hive-site.xml
            <?xml version="1.0" encoding="UTF-8" standalone="no"?>
            <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
            <configuration>
                <property>
                    <name>javax.jdo.option.ConnectionURL</name>
                    <value>jdbc:derby:;databaseName=metastore_db;create=true</value>
                </property>
                 
                <property>
                    <name>javax.jdo.option.ConnectionDriverName</name>
                    <value>org.apache.derby.jdbc.EmbeddedDriver</value>
                </property>   
                 
                <property>
                    <name>hive.metastore.local</name>
                    <value>true</value>
                </property>   
 
                <property>
                    <name>hive.metastore.warehouse.dir</name>
                    <value>file:///root/training/apache-hive-2.3.0-bin/warehouse</value>
                </property>           
            </configuration>
 
        初始化MetaStore：
            schematool -dbType derby -initSchema
2、安装配置MySQL数据库
在虚拟机上安装MySQL：
            yum remove mysql-libs 
            rpm -ivh mysql-community-common-5.7.18-1.el7.x86_64.rpm
            rpm -ivh mysql-community-libs-5.7.18-1.el7.x86_64.rpm
            rpm -ivh mysql-community-client-5.7.18-1.el7.x86_64.rpm
            rpm -ivh mysql-community-server-5.7.18-1.el7.x86_64.rpm
            rpm -ivh mysql-community-devel-5.7.18-1.el7.x86_64.rpm  （可选，但还是装上，后面装HUE的时候会用到。）
                     
          启动MySQL：service mysqld start
          或者：systemctl start mysqld.service
 
          查看root用户的密码：cat /var/log/mysqld.log | grep password
          登录：mysql -uroot -pxxxxx
          登录后修改密码：alter user 'root'@'localhost' identified by 'Welcome_1';
 
        MySQL数据库的配置：
        创建一个新的数据库：create database hive;
        创建一个新的用户：
                create user 'hiveowner'@'%' identified by 'Welcome_1';
        
            给该用户授权
                       grant all on hive.* TO 'hiveowner'@'%'; 
                       grant all on hive.* TO 'hiveowner'@'localhost' identified by 'Welcome_1';          
           
            免费工具：http://www.mysqlfront.de/
3、本地模式、远程模式
地模式、远程模式
        创建hive-site.xml
            <?xml version="1.0" encoding="UTF-8" standalone="no"?>
            <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
            <configuration>
                <property>
                    <name>javax.jdo.option.ConnectionURL</name>
                    <value>jdbc:mysql://localhost:3306/hive?useSSL=false</value>
                </property>               
 
                <property>
                    <name>javax.jdo.option.ConnectionDriverName</name>
                    <value>com.mysql.jdbc.Driver</value>
                </property>   
 
                <property>
                    <name>javax.jdo.option.ConnectionUserName</name>
                    <value>hiveowner</value>
                </property>   
 
                <property>
                    <name>javax.jdo.option.ConnectionPassword</name>
                    <value>Welcome_1</value>
                </property>                   
             
            </configuration>

hive 设计思想：
利用关系型数据库来辅助记录数据的结构元信息（即表结构），真实的数据存储在HDFS上，

四、（最重要）Hive的数据模型

1、内部表：类似MySQL、Oracle中表
默认的列的分隔符是：tab键

    举例：创建一个员工表 emp表
          数据 7654,MARTIN,SALESMAN,7698,1981/9/28,1250,1400,30
           
          create table emp
          (empno int,
           ename string,
           job   string,
           mgr   int,
           hiredate string,
           sal   int,
           comm  int,
           deptno int
          );
           
          创建一个员工表 emp1表，并且指定分隔符是：逗号
          create table emp1
          (empno int,
           ename string,
           job   string,
           mgr   int,
           hiredate string,
           sal   int,
           comm  int,
           deptno int
          )row format delimited fields terminated by ',';  
          
          
          
        导入数据：
        insert语句
        load语句：相当于ctrl+x
            （1）导入HDFS的数据   load data inpath '/scott/emp.csv' into table emp;
            （2）导入本地Linux的数据：load data local inpath '/root/temp/emp.csv' into table emp1;

2、分区表：提高性能
举例：创建一个分区表，根据部门号deptno

         create table emp_part
              (empno int,
               ename string,
               job   string,
               mgr   int,
               hiredate string,
               sal   int,
               comm  int
              )partitioned by (deptno int)
              row format delimited fields terminated by ',';

往分区表中插入数据：子查询

insert into table emp_part partition(deptno=10) select empno,ename,job,mgr,hiredate,sal,comm from emp1 where deptno=10;
insert into table emp_part partition(deptno=20) select empno,ename,job,mgr,hiredate,sal,comm from emp1 where deptno=20;
insert into table emp_part partition(deptno=30) select empno,ename,job,mgr,hiredate,sal,comm from emp1 where deptno=30;
3、外部表：只定义表结构，数据保存在HDFS的某个目录下
    create external table ext_student
    (sid int,sname string,age int)
    row format delimited fields terminated by ','
    location '/students';
4、桶表：类似Hash分区
    根据员工的职位job建立桶表
     
    create table emp_bucket
    (empno int,
     ename string,
     job string,
     mgr int,
     hiredate string,
     sal int,
     comm int,
     deptno int
    )clustered by (job) into 4 buckets
    row format delimited fields terminated by ',';
 
    需要设置环境变量：set hive.enforce.bucketing = true;
    插入数据
    insert into table emp_bucket select * from emp1;
5、视图：View
    (*) 是一个虚（不存数据）表
    (*) 作用：简化复杂的查询
         create view view10
         as
         select * from emp1 where deptno=10;
 
    (*) 补充：物化视图可以缓存数据

*）补充：如何判断提高了性能？ ----> 重点讲：关系型数据库（Oracle）、Hive类似方式
----> SQL执行计划

Hive中的执行计划
 
查询10号部门的员工
 
 
情况一：查询内部表
    explain select * from emp1 where deptno=10;
    STAGE DEPENDENCIES:
      Stage-0 is a root stage
 
    STAGE PLANS:
      Stage: Stage-0
        Fetch Operator
          limit: -1
          Processor Tree:
            TableScan
              alias: emp1
              Statistics: Num rows: 1 Data size: 629 Basic stats: COMPLETE Column stats: NONE
              Filter Operator
                predicate: (deptno = 10) (type: boolean)
                Statistics: Num rows: 1 Data size: 629 Basic stats: COMPLETE Column stats: NONE
                Select Operator
                  expressions: empno (type: int), ename (type: string), job (type: string), mgr (type: int), hiredate (type: string), sal (type: int), comm (type: int), 10 (type: int)
                  outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5, _col6, _col7
                  Statistics: Num rows: 1 Data size: 629 Basic stats: COMPLETE Column stats: NONE
                  ListSink
 
 
 
情况二：查询分区表
    explain select * from emp_part where deptno=10;
    STAGE DEPENDENCIES:
      Stage-0 is a root stage
 
    STAGE PLANS:
      Stage: Stage-0
        Fetch Operator
          limit: -1
          Processor Tree:
            TableScan
              alias: emp_part
              Statistics: Num rows: 3 Data size: 118 Basic stats: COMPLETE Column stats: NONE
              Select Operator
                expressions: empno (type: int), ename (type: string), job (type: string), mgr (type: int), hiredate (type: string), sal (type: int), comm (type: int), 10 (type: int)
                outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5, _col6, _col7
                Statistics: Num rows: 3 Data size: 118 Basic stats: COMPLETE Column stats: NONE
                ListSink
Hive的自定义函数（UDF）
  1. 在udf包下新建一个类checksal，继承 UDF,重写evaluate方法，实现业务方法
  2. 打jar包，这里命名为myudf.jar
  3. 部署我们jar包（自定义函数）,
    把jar加入Hive的Classpath
         add jar /root/temp/myudf.jar;
    为自定义函数创建别名
         create temporary function checksal as 'udf.CheckSalaryGrade';

这里只是简单的说了下自定义函数的流程，推荐一片文章，这方面写得比较详细link: https://blog.csdn.net/HG_Harvey/article/details/77688735

这篇文章原理讲得比较清晰推荐看下link:https://www.cnblogs.com/qingyunzong/p/8707885.html

这篇文章讲解的操作比较详细，值得收藏link:http://blog.51cto.com/xpleaf/2084781

【面试系列】Hive 高频面试题解答
在路上的专栏
09-08 890
本文介绍了 Hive 技术在初级、中级和高级面试中的常见问题及其详细解答。初级面试题集中于 Hive 的基础概念，如 Hive 架构、分区和分桶等。中级面试题探讨了 Hive 的查询优化技术、动态分区、UDF 和小文件处理问题。高级面试题则涵盖了 Hive 的 ACID 支持、物化视图、Tez 引擎及实时数据处理的局限性。通过这篇文章，读者可以深入了解 Hive 面试的常考知识点，并掌握应对各种难度面试的技巧。
Spark、Hive杂谈
phyllisyuell的博客
02-23 173
一、Hive杂谈 二、Spark杂谈 1、spark core和 spark sql Spark SQL构建在Spark Core之上，专门用来处理结构化数据(不仅仅是SQL)。即Spark SQL是Spark Core封装而来的！ Spark SQL在Spark Core的基础上针对结构化数据处理进行很多优化和改进， 　　简单来讲： 　　　　Spark SQL 支持很多种结构化数据源，可以让你跳过复杂的读取过程，轻松从各种数据源中读取数据。 　　　　当你使用SQL查询这些数据源中的数据并且只
hive细节补充
IAmListening的博客
06-21 890
杂谈 hive不是数据库, 更不是关系型数据库, 它是计算框架 它不存在索引的概念, 而是依靠并行处理提高的效率 distribute by+ 指定reduceTask的数量, 可以在一定程度上, 依据键切分源表. 但是distribute by保证相同键的元素在相同分区, 但不保证分区中只有相同的键 因此这个切分是很不稳定的, 不建议使用 顺便一提, String格式的键进行distribut...
大数据杂谈之——HIVE和HBASE区别
冰河的专栏
06-01 1273
1. 两者分别是什么？    Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。     Apache HBase是一种Key/Va...
Hive 基础知识汇总
u013560925的博客
08-01 1964
安装： 安装hive 注意跟Hadoop或者spark版本的对应问题 命令行变量             --hivevar key=value ,可以允许用户在命令行中声明变量，在hive脚本中使用，该变量声明之后，会放置到hivevar变量空间，下面给出hive中所有的命名空间，查看命名空间变量，在hive脚本中，使用set；会打印出所有命名空间的变量。  Hive 一次性命...
大数据杂谈篇：认识大数据生态(个人心得分享)
萧邦主的城邦
08-07 3702
内容简介一、什么是大数据？二、走进大数据生态1.Hadoop2.Spark3.Hive4.HBase5.Kafka6.Flume7.Zookeeper三、总结 一、什么是大数据？ 接触大数据也有一段时间了，从当初什么都不会的纯小白到现在已经基本入门(还是很弱)，在学习的道路上跌跌撞撞的，一部分原因是国内大数据的学习资料相比于其他IT技术要少很多，还有一部分原因是大数据涉及的知识比较多，知识点多，...
Hive浅谈
Ajaxtxdy的博客
09-16 980
Hive浅谈
Impala部署、权限、资源隔离杂谈
Hello World
10-07 7814
概述最近一直在倒腾Impala，公司内部也属于刚刚部署使用，初次体验感觉性能还是比较好的（可能是使用Hive过多的原因），并且Impala还可以支持Kudu引擎，这个目前看上去是实时离线统一的较好解决方案，因此考虑在公司内部推广使用，但是一旦给多个产品部署、使用就需要考虑如下的几个问题： 部署方式：它决定了以后的扩展性和运维复杂度等。 权限隔离：如何做到用户的数据不被他授权的用户查询。 资源隔离：用
浅谈hive
weixin_44273391的博客
09-20 222
浅谈hive hive 2.5.1 Hive是什么 ###2.5.1.1 为什么有Hive Hive最初是应Facebook每天产生的海量新兴社会网络数据进行管理和机器学习的需求而产生和发展的。 数据量大，处理的效率比较低 mapreduce学习成本比较高 类sql的用法，工作效率高 入门比较简单 2.5.1.2 Hive是什么 hive是一个数据仓库。 hive是一个基于hadoop的数据仓库...
工作杂谈——浅谈数据岗位
IT_心如止水的博客
04-20 3075
目录 1、数据仓库工程师/BI工程师/数据BP 2、数据平台开发/大数据开发 3、数据产品 4、数据分析/数据挖掘/算法 随着互联网技术的飞速发展，现在已经进入了大数据时代。每个人每时每刻都在生产着大量的数据，各行各业对于数据的重视程度也越来越高。数据岗位的市场需求也就日益增多。作为一个数据行业的从业者，谈一点自己对于现阶段各个数据岗位的理解。 目前，市场主流公司的数据岗位主要分为以下几个不同的方向 1、数据仓库工程师/BI工程师/数据BP 能力：侧重于数据仓库整体建设，数仓架构..
数据治理项目怎么做，3种推进思路可参考
esensoft123的博客
11-06 552
因此，即使有些人认为先建大数据平台而暂时无法实现业务支撑或应用分析是无效的，但实际上，在建设平台的过程中，企业的能力已经在逐步提升。因此，在做项目时，我们必须与最终用户达成一致，明确项目的定义和规划。先做数据治理顶层设计的规划，确定战略目标，进而拆解KPI，然后设立对应的支撑项目，并且根据优先级别进行排序，最后形成一个执行的路径，即每个阶段要建设的项目及其目标。这种方式的优点显而易见：它确保了项目有明确的规划和方向，从面到线，再到点，逐步落实，从而最大程度地保证了项目的成功，减少了无用功和重复建设。
【零基础小白】 window环境下安装RabbitMQ
许苑向上
11-06 249
RabbitMQ是用编写的，因此在安装RabbitMQ之前，需要先安装Erlang环境。确定Erlang版本：根据具体需求以及安装符合的Erlang版本。本文下载的故而下载Erlang版本之间的，打开系统属性：右键点击“此电脑”或“计算机”图标，选择“属性”，然后点击“高级系统设置”。编辑环境变量：在“系统属性”窗口中，点击“环境变量”按钮。编辑Path变量：同样在“系统变量”区域，找到名为Path的变量并选择它，然后点击“编辑”按钮。
牛客网项目总结
qq_43539664的博客
11-04 286
下面这幅图是牛客网项目的架构图，最下层是Spring Boot，表示我们所有的技术都是基于Spring Boot，上面一层是Spring，Spring上面是Spring MVC、Spring MyBatis 和 Spring Security。数据库访问的问题，通过Spring Security来管理我们项目中的安全层面的这个内容来管理我们项目中的权限，这三个技术都是基于Spring之上的。由Spring进行整合。通过Spring MVC 解决前后端请求交互的问题，通过Spring MyBatis解决。
Kafka-linux环境部署
xiaoyuanbama的博客
11-05 202
Kafka在Linux环境下的安装，以及一点点的kafka实战运维优化经验。
RDD转换算子：【filter】
一个大数据的爱好者
11-04 235
RDD转换算子：filter的用法
高校大数据实训平台介绍
tipdm0301的博客
11-04 427
为满足高校专业教学要求和专业发展需求，泰迪智能科技结合自身技术优势，为院校提供实验室建设服务，充分发挥校企双方资源和技术优势，助力高校培养更多具有创新精神、科研精神及实践能力强的复合型人才。
Elasticsearch+kibana+filebeat的安装及使用
最新发布
sunsiny
11-07 416
自己去官网下载或者私信找我要，jdk是8版本。
大数据算法：一、损失函数
m0_63099685的博客
11-06 59
OS:Win11,
Delta Lake
zhixingheyi_tian的博客
11-07 400
Delta Lake 是经过优化的存储层，为 Databricks 上湖屋中的表提供了基础。Delta Lake 是开源软件，它使用基于文件的事务日志扩展了 Parquet 数据文件，可以处理 ACID 事务和可缩放的元数据。Delta Lake 与 Apache Spark API 完全兼容，并且其设计能够与结构化流式处理紧密集成，让你可以轻松地将单个数据副本用于批处理和流式处理操作，并提供大规模增量处理。Delta Lake 是 Azure Databricks 上所有操作的默认格式。
DolphinScheduler资源中心
通往IT大道的专栏
11-05 451
如果 Hadoop 集群的 NameNode 配置了 HA 的话，需要开启 HDFS 类型的资源上传，同时需要将 Hadoop 集群下的。当在调度过程中需要使用到第三方的 jar 或者用户需要自定义脚本的情况，可以通过在该页面完成相关操作。的文件，则只是开启了资源上传的操作，并不能满足正常使用。当需要使用资源中心进行相关文件的创建或者上传操作时，所有的文件和资源都会被存储在分布式文件系统。上传文件：点击"上传文件"按钮进行上传，将文件拖拽到上传区域，文件名会自动以上传的文件名称补全。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值