Hive基础(1)

最新推荐文章于 2020-12-13 15:53:32 发布
最新推荐文章于 2020-12-13 15:53:32 发布
阅读量170 收藏 1
点赞数 1
分类专栏： 笔记 文章标签： 数据库 sql hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_47002117/article/details/108621137
版权
本文介绍了Hive作为数据仓库框架在Hadoop生态系统中的作用，重点讲述了Hive的优势，如类SQL语法、支持多计算框架。还详细讨论了Hive的体系结构，包括Hive服务如Hive Server2、MetaStore，以及Hive接口和数据类型。此外，文中提到了Hive的建表、数据加载、查询操作以及分区和桶的概念，展示了如何利用Hive进行大数据处理。
摘要由CSDN通过智能技术生成

文章目录

关于Hive

Hive始于2007年的Facebook.
Hive是一个构建在Hadoop上的数据仓库框架,是应Facebook每天产生的海量新兴社会网络数据进行管理和(机器)学习的需求而产生和发展的.
Hive的设计目的是让精通SQL技能但Java编程技能相对较弱的分析师能够对Facebook存放在HDFS中的大规模数据集执行查询.

Hive的优势和特点:

  • 提供了一个简单的优化模型
  • HQL类SQL语法,简化MR开发
  • 支持在不同的计算框架上运行
  • 支持在HDFS和HBase上临时查询数据
  • 支持用户自定义函数,格式
  • 成熟的JDBC和ODBC驱动程序,用于ETL和BI
  • 稳定可靠(真实生产环境)的批处理
  • 有庞大活跃的社区

Hive体系架构

在这里插入图片描述

Hive服务

(1) cli: Hive的命令行接口(shell环境).默认的服务

(2) hiveserver2: 让Hive以提供Thrift服务的服务器形式运行,允许用不同语言编写的客户端进行访问.hiveserver2在支持认证和多用户并发方面比原始的hiveserver有很大改进.使用Thrift,JDBC和ODBC连接器的客户端需要运行Hive服务器来和Hive进行通信.通过设置hive.server2.thrift.port 配置属性来指明服务器所监听的端口号(默认为10000).

(3) beeline: 以嵌入方式工作的Hive命令行接口(类似于常规的CLI),或者使用JDBC连接到一个Hive Server2进程.

(4)metastore: 默认情况下,metastore和Hive服务运行在同一个进程里.使用这个服务,可以让metastore作为一个单独的(远程)进程运行.通过设置METASTORE_PORT环境 变量(或者使用-p命令行选项)可以指定服务器监听的端口号(默认为9083)

(5)hwi: Hive的web接口.在没有安装任何客户端软件的情况下,这个简单的Web接口可以代替CLI.另外,Hue是一个功能更全面的HadoopWeb接口,其中包括运行HIve查询和浏览Hive metastore的应用程序.

(6)jar: 与hadoop jar等价.这是运行类路径中同时包含Hadoop和hive类Java应用程序的简便方法.

Hive Interface - 命令窗口模式

  • 有两种工具:Beeline和Hive命令行(CLI)
  • 有两种模式:命令行模式和交互模式
    (1)命令行模式
    在这里插入图片描述
    (2)交互模式
    在这里插入图片描述

Hive工具操

最低0.47元/天 解锁文章
「已注销」
关注
专栏目录
Hive 服务是否正常验证方式
houzhizhen的专栏
09-16 1384
如果启用了 kerberos，在执行命令之前，先执行 kinit。
Hive的Metastore服务和Hiveserver2服务的说明
最新发布
奔跑的蜗牛的博客
05-18 822
Metastore的作用：客户端连接metastore服务，metastore再去连接Mysql数据库来存取元数据。有了Metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道Mysql数据库的用户名和密码，只需要连接metastore服务即可。1.2、Hive先连接Metastore服务，再通过Metastore服务连接Mysql获取元数据。如果我们想通过jdbc的方式来连接hive，那么我们就需要开启Hiveserver2服务了。启动方式：只需直接启动Hive客户端，即可连接。
Hive的Metastore服务和Hiveserver2服务的详细说明
weixin_48833605的博客
12-13 1万+
Hive的Metastore服务和Hiveserver2服务的详细说明 一.Metastore服务  1.什么时候需要开启和使用Metastore服务呢？   首先我们先来了解Hive获取Mysql元数据的两种方式：    ①Hive直连MySQL获取元数据     启动方式：只需直接启动Hive客户端，即可连接    ②Hive先连接Metastore服务，再通过Metastore服务连接MySQL获取元数据     启动方式：      ①先启动Metastore服务      ②在启动Hive客户端
如何查看当前hive版本号
热门推荐
啊左的专栏
01-09 7万+
如何查看当前hive版本号 方法一 方法二 如何查看当前hive版本号 方法一 查看jar包版本： whereis hive 获取 hive位置 查看hive的jar包版本 方法二 进入hive客户端 通过log查看当前hive的版本。
批量查看Hive库的表是是否存在
ZeroZy1的博客
07-31 1082
不多说先上代码 while read line do hive -e "use zy_tes; desc ${line};" 2>&1 | grep 'Table not found' rtstatus=$? if [[ $rtstatus -ne 0 ]]; then echo "${line}表已存在!" (( tab_num+=1 )) else echo "${line}表不存在!"
2020-11-20
11-20 487
Hive常用命令 Hive中定义变量 内置命名空间 Hive内置命名空间包含了hivevar、hiveconf、system和env。 在Hive中写入hivevar变量 hive --define/--hivevar key=value 显示变量 set env:HOME set hivevar:key set key 给变量赋值 set key=value set hivevar:key=value 在sql语句中调用变量 create table table_name(i in
查看hive配置
hellojoy的博客
05-29 7649
在启动hive时设置配置属性信息$ bin/hive --hiveconf <property=value>查看当前所有的配置信息hive > set ;hive >set hive.metastore.uris;hive (db_hive)> set system:user.name ;system:user.name=roothive (db_hive)> ...
公司财务发工资时,记录了当时发工资的资料Employee.txt 1.定义公司员工类Employee,属性有:工号,姓名,性别,工资(double类型),进行属性的隐藏和封装,重写toString.
zhanggf的博客
09-04 1万+
公司财务发工资时,记录了当时发工资的资料Employee.txt 1.定义公司员工类Employee,属性有:工号,姓名,性别,工资(double类型),进行属性的隐藏和封装,重写toString. 2.将D:/Employee.txt文件用程序复制到项目根目录; 3.读取项目根目录下的文件Employee.txt内容存入ArrayList<Employee> 4.以工号为键，员工姓名为值存入HashMap<String,String>中.再遍历输出Map集合中的内容； 5.当公司记录该信息的职员将信息交给
Hive脚本化运行及健康检测
Buevara的博客
12-09 641
之前一直想做一个Hive一键运行脚本 找了很久才找到这篇博客 首先一定要确认环境变量中添加了hive环境变量 参考 参考 vi /etc/profile 文件内添加： export HIVE_HOME=/usr/local/hive（自己hive的安装目录） export PATH=$PATH:$HIVE_HOME/bin source /etc.profile 测试一下： 执行 ...
2018-09-27#hive数据检查的常见方式
公子专栏
09-27 717
hive数据检查的常见方式 主键上的数据是否用重复 select phone_segment,count(1) as cnt from dw.dim_phone_segment_info a group by phone_segment having cnt &amp;gt; 1; 对比去重前后的数据量 select count(1), count(distinct phone_num) from dw...
Hive最新数据操作详解（超级详细）
似水流年
07-14 5万+
数据操作能力是大数据分析至关重要的能力。数据操作主要包括：更改(exchange)，移动(moving)，排序(sorting)，转换(transforming)。Hive提供了诸多查询语句，关键字，操作和方法来进行数据操作。 一、 数据更改 数据更改主要包括：LOAD, INSERT, IMPORT, and EXPORT 1. LOAD DATA load关键字的作用是将数据移动到hive中
大数据生态系统-Hive基本操作
汪云辉的博客
09-18 191
大数据生态系统-Hive基本操作 学习目标 记忆Hive的HQL基本操作 记忆Hive的内部表和外部表区别 记忆分区表的使用 1-Hive HQL基本操作 创建数据库 CREATE DATABASE test; 显示所有数据库 SHOW DATABASES; 创建表 CREATE TABLE student(classNo string, stuNo string, sco...
2020.9.16课堂笔记(Hive数据库)
超可爱慕之
09-16 344
hiveserver和beeline(hiveserver2)的区别 hive不需要启动服务再访问，使用hive命令就直接启动服务再访问了 beeline需要先手动启动服务端，再访问客户端。 beeline提供了一个服务专门来处理beeline相关的请求，专事专办，在查询效率上比hive高，逻辑上本身没有太大差别。 beeline不支持update和delete，但是hive都是支持的虽然比较慢。 hive： 1.连接方式 hive -h hostname -p port 2.加载文件 暂时略 3.库级
Hive装载数据
timicai的博客
09-26 892
Hive装载数据一、Load移动数据二、Insert表插入数据三、Hive数据插入文件四、Hive数据交换 一、Load移动数据 Load用于在Hive中移动数据 原始数据被移动到目标表/分区，不再存在于原始位置 local：指定文件位于本地文件系统 overwrite：表示覆盖现有数据 load data local inpath '/root/employee.txt' overwrite into table emp; //local表示文件位于本地，overwrite表示覆盖现有数据 load d
hive安装测试及Hive 元数据的三种存储方式
yangyan19870319的专栏
03-20 1万+
一  hive安装测试 1、下载解压 tar -xf hive-x.y.z.tar.gz（本次安装为hive-0.8.1.tar.gz） 将解压后的hive-0.8.1文件放在系统的/home/hadooptest/中。 2、环境变量配置 在.bash_profile中添加： export HIVE_HOME=/home/hadooptest/h
MySQL练习题
m0_47002117的博客
09-15 1486
索引类型有哪些？ 数据库如果考虑时区，用什么类型？ 组合索引使用like还有效吗? 组合索引怎么使用才会生效？ 事务的特性？ 数据库隔离级别。 触发器的作用。 MySQL的执行计划 mysql写个简单应用 数据库怎么做到读写分离？ mysql如何集群 数据库集群后怎么让数据均匀分布 关系型数据库怎么做热备 相关表结构： 学生表 tbIStudent(编号 StuId、姓名 StuName、年龄SuAge、性别 Stusex) 课程表 tblCourse..
Linux虚拟机安装MySQL步骤
m0_47002117的博客
08-31 924
Linux虚拟机安装MySQL步骤 1.网络配置（仅主机：static，IPADDR=） 2.systemctl restart network 重启网络 3.停止和禁用防火墙 systemctl stop firewalld systemctl disable firewalld 4.moba远程连接虚拟机 5.上传安装包（1个jdk，2个mysql） 6.解压jdk包：tar -zxvf jdk… 7.配置环境变量：vi /etc/profile(JAVA_HOME,CLASSPATH,PATH) 8.
编写UDF函数
m0_47002117的博客
09-23 883
1.Java继承UDF类编写udf函数(evaluate()) 2.打fat包(包括所有依赖文件) 3.把jar包放到Linux上 –临时udf函数 4.在hive命令行中使用add jar jar包路径即可 加载到临时系统中 如add jar /root/testudf.jar 5.create temporary function 如:create temporary function demo as 'hh.testudf.TestUDF'; –永久udf函数 4.在linux命令行使用hdfs命令把
Hive基础与大数据课程解析
"大数据课程之Hive-hive基础ppt" Hive是Apache Hadoop生态系统中的一个数据仓库工具，它允许通过SQL-like语言（HiveQL）对大规模数据集进行查询和管理。这个大数据课程主要涵盖了Hive的基础知识，包括其编译过程、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值