![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Apache Hive
Apache Hive数据库
编程写手
路漫漫其修远兮,吾将上下而求索!
展开
-
Hive:使用当前的WebHCat并提供rest api功能
1.声明当前内容主要用于本人学习和复习,当前内容主要为启动当前的WebHCat和测试和解决其中出现的问题2.首先启动当前的WebHCatcd hcatalog/sbin/./webhcat_server.sh start这表示启动成功了3.查看官方的使用方式通过示例发现:当前的WebHCat是占用的端口为:50111通过命令查看端口netstat -nltp4.使用web方式访问查看状态http://192.168.1.102:50111/templeton/v1/sta原创 2020-06-23 11:51:44 · 2409 阅读 · 0 评论 -
Hive:从derby数据库切换为mysql数据库
1.声明当前内容主要用于本人学习和复习,当前的内容为,切换数据库为mysql数据库,并实现hive连接介绍:当前的Hive部署到Linux中使用windows10中的putty操作Linux中的Hive,实现Linux中连接Windos10中的Mysqlmysql 部署在Windows10中mysql部署在192.168.1.109(windows10中),hive部署在192.168.1.107(Linux中)2.修改hive的配置和配置jar包1.在conf中创建配置文件hive-s原创 2020-06-23 10:37:47 · 1268 阅读 · 0 评论 -
Hive:创建和使用UDF
1.声明当前内容主要用于本人学习和复习,当前内容为创建UDF(User-Defined Function)和使用当前的Hive加载当前的jar文件并使用当前内容来源于:Apache Hive Essentials书籍2.创建一个基本的demo(将单词变成大写)1.创建项目并使用pom依赖<dependencies> <!-- https://mvnrepository.com/artifact/org.apache.hive/hive-jdbc --> <depe原创 2020-06-22 12:57:58 · 850 阅读 · 0 评论 -
Hive:Macro(宏)的使用和测试
1.声明当前内容主要用于本人学习和复习,当前的内容为学习和使用宏当前内容借鉴:Wikes中的Hive2.查看和分析临时宏查看官方文档:创建临时宏临时:就是指在当前会话中生效的意思,即本次会话或者shell断开后,该临时的自动销毁语法:CREATE TEMPORARY MACRO macro_name([col_name col_type, ...]) expression;创建一个临时宏,将两个数相加:two_num_add(x int ,y int);create TEMPORARY M原创 2020-06-22 11:58:33 · 788 阅读 · 0 评论 -
Hive:表的TBLPROPERTIES测试
1.声明当前内容主要用于本人学习和复习,当前的内容主要的为使用和测试当前表的TBLPROPERTIES属性当前内容借鉴当前的:wikes文档2.创建时指定TBLPROPERTIES查看官方创建方式:这个官方的东西太长了,这里只显示关于TBLPROPERTIES的属性创建一个测试表:testdrop table if exists test;create table if not exists test (id int,name string) TBLPROPERTIES('author'=原创 2020-06-22 11:28:38 · 6893 阅读 · 0 评论 -
Hive:开启和使用事务
1.声明当前内容主要用于本人学习和复习,当前内容主要开启和使用update和delete由于前面的博文中发现当前的Hive是不支持事务的,但是现在又发现可以使用update和delete,所以记下来当前内容来源:Apache Hive Essentials这本书2.开启事务一般情况下,Hive是没有事务的,所以执行任何的update和delete都会出现:这就是之前博文出现的问题,现在通过查看书籍发现可以开启事务:这6个属性可以写入配置文件中或者直接在命令行中使用 SET hive.su原创 2020-06-21 16:35:30 · 3092 阅读 · 0 评论 -
Hive:使用当前的jdbc连接Hive并执行sql(HiveServer2)
1.声明当前内容主要用于本人学习和复习,当前的内容主要为开启当前的HiveServer2和使用Java方式操作当前的Hive中的某个表当前使用的表基于前面的博客中的:students表2.开启当前的HiveServer2当前的HiveServer已经被移除,只能使用HiveServer2(当前的Hive版本为2.3.7)开启HiveServer2(和原来的HiveServer启动方式一样)./bin/hive --service hiveserver23.寻找当前的HiveServer2原创 2020-06-21 13:31:09 · 4234 阅读 · 0 评论 -
Hive:Managed Tables和External Tables的测试
1.声明当前内容主要用于本人学习和复习,当前内容主要为Managed Table和External Table的测试2.创建两个表1.创建Managed Table,managed_tableCREATE TABLE IF NOT EXISTS managed_table (id STRING,name STRING,age int)COMMENT '一个一般表' LOCATION '/user/hive/warehouse/manageTable'; 2.创建External T原创 2020-06-21 11:53:11 · 983 阅读 · 0 评论 -
Hive:Load本地文件数据到数据库中
1.声明当前内容主要用于本人学习和复习,当前内容主要为使用LOAD方式将本地的文件导入导数据库中主要分为以下情况(struct、map、array):创建表的时候指定分隔符本人准备的数据:1|admin|100,80,50|一等奖:2,二等奖:1|phone,watch2|guest|60,50,90|一等奖:0,二等奖:1|switch,computer,mp32.创建表的时候指定分隔符删除存在的表studentsdrop table if exists students;重原创 2020-06-20 17:37:08 · 3731 阅读 · 0 评论 -
Hive:数据类型和复杂类型(添加、查询)
1.声明当前的内容主要用于本人学习和复习,当前内容主要为Hive中的数据类型当前内容来源:wikis官方文档2.查看基本类型发现其中的基本数据类型和MySQL中的数据类型完全一致(学习过mysql可以省略这个)3.查看复杂类型具有的复杂类型:STRUCT:结构类型使用点(.)方式获取属性数据MAP:key-value类型,使用M[‘key’]方式获取数据ARRAY:数组类型,可以通过A[下标]方式获取数据4.关于Hive部分SQL操作的声明1.对于一些创建表创建数据库以及一些原创 2020-06-20 15:55:38 · 1825 阅读 · 0 评论 -
Hive:基本概念
1.声明当前内容主要用于本人学习和复习,当前内容主要为Hive的基本概念和它是什么东西2.官方介绍(1)来源于官方描述:Apache HiveThe Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL. Structure can be projected onto data a原创 2020-06-20 12:23:44 · 233 阅读 · 0 评论 -
Hive:简单的安装和搭建derby以及部分操作(Quick Start)
1.声明当前内容主要用于本人学习和复习,当前内容主要为下载安装启动当前的Hive当前内容来源:Hive官方文档2.下载和解压这里要求Java1.7和Hadoop2.X以及Hive2.X本人环境:jdk1.8,Hadoop2.8.5,Hive 2.3.7下载apache-hive-2.3.7-bin.tar.gz并解压3.使用前的配置Hive使用Hadoop,所以的路径上面必须要有Hadoop(直接配置环境变量HADOOP_HOME)和HIVE环境变量启动当前的Hadoop:./sbi原创 2020-06-19 15:41:33 · 835 阅读 · 0 评论