Hive系列
文章平均质量分 67
hive基础
星瀚光晨
寓沉雄于静穆,藏锋芒于深思。
展开
-
Sqoop参数及案列
目录查看帮助的方法 -- [官网](https://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html)命令行参数通用参数Import -- 从MySQL到HDFS,HIVE,HBase增量导入的参数HCatalog参数HBase专属参数导出控制参数输出行格式参数:案例MySQL 导入数据到 HDFS 案例从MySQL导入数据到hivemysql数据导入到HBaseHDFS数据导出到MySQLHive 数据导出到mysql查看帮助的方法 – 官网sqoop h原创 2021-11-15 17:31:34 · 1364 阅读 · 0 评论 -
Hive案例-来自hive实战
注: 案例素材来自于中国工信出版社出版书籍 hive实战. 译者- 唐富年目录准备数据检索数据库建库创建表并装载rawfirstname.csv文件创建rawlastname并装载创建rawperson并装载装载额外的数据创建retrievedb.rawaddress表并装载数据创建retrievedb.rawaddresshistory创建retrievedb.rawaccount清洗数据创建临时表assessdb.firstname001 -- 去掉第一行的字段列名创建临时表assessdb.fir.原创 2021-11-12 17:34:28 · 1568 阅读 · 0 评论 -
源码编译Tez整合HIve,提升Hive执行效率
Hive On Tez源码编译Tez基于Hadoop3.3.1热身运动上传 Tez 的 jar 包到 HDFS配置 Hive部署 Tez 本地程序Tez 包的引入复制tez包到其他机器测试功能遗留了一个问题源码编译Tez基于Hadoop3.3.1热身运动搭建java环境# 安装java环境mkdir /usr/java# tar xf jdk-8u261-linux-x64.tar.gz -C /opt/ln -s /opt/jdk1.8.0_261 /usr/java/default原创 2021-10-24 22:52:33 · 2498 阅读 · 1 评论 -
Hive3.1.2版本部署
Hive3.1.2版本部署安装HiveHive Masterhive客户端节点分发hive包启动 metastore 与 hiveserver2 服务**初始化 Hive 元数据****启动 Metastore 服务****启动 Hiveserver2 服务**安装Hivewget https://dlcdn.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz解压cd $HIVE_HOME/confcp hive-default.xml.原创 2021-10-24 12:41:46 · 2758 阅读 · 0 评论 -
Hive权限管理
Hive权限管理Hive权限管理Hive权限管理待更新。。。原创 2021-10-08 11:46:15 · 832 阅读 · 0 评论 -
Hive的视图和索引
Hive的视图和索引待更新。。。原创 2021-10-08 11:42:40 · 63 阅读 · 0 评论 -
Hive参数操作和运行方式
Hive参数操作和运行方式Hive参数操作和运行方式1、Hive参数操作1.1 hive参数介绍1.2 hive参数的设置方式2、hive运行方式1、hive运行方式分类2、hive命令行模式详解3、hive脚本运行方式Hive参数操作和运行方式1、Hive参数操作1.1 hive参数介绍 hive当中的参数、变量都是以命名空间开头的,详情如下表所示:命名空间读写权限含义hiveconf可读写hive-site.xml当中的各配置变量例: hive --hivecon原创 2021-10-08 11:37:27 · 343 阅读 · 0 评论 -
Hive函数学习
Hive函数学习Hive函数学习1.内置运算符1.1关系运算符1.2算术运算符1.3逻辑运算符1.4复杂类型函数1.5对复杂类型函数操作2.内置函数2.1数学函数2.2收集函数2.3类型转换函数2.4日期函数2.5条件函数2.6字符函数3.内置的聚合函数(UDAF)4.内置表生成函数(UDTF)5.自定义函数5.1 UDF 开发Hive函数学习--- 查看所有函数或操作符show functions;--- 查看函数描述describe function trim;describe funct原创 2021-10-08 11:27:42 · 435 阅读 · 0 评论 -
HiveServer2服务简介
HiveServer2服务简介HiveServer2基本概念介绍hiveserver2的搭建使用独立hiveserver2模式共享metastore server的hiveserver2模式搭建HiveServer2的访问方式1、beeline的访问方式2、jdbc的访问方式HiveServer2基本概念介绍1、HiveServer2基本介绍HiveServer2是一个服务接口,能够允许远程的客户端去执行SQL请求且得到检索结果。HiveServer2的实现,依托于Thrift RPC,是Hive原创 2021-10-08 11:12:45 · 6658 阅读 · 0 评论 -
Hive Serde 序列化与反序列化
Hive Serde 序列化与反序列化待更新。。。原创 2021-10-08 11:03:57 · 113 阅读 · 0 评论 -
Hive动态分区和分桶
Hive动态分区和分桶1、 Hive动态分区和分桶1、Hive动态分区1、hive的动态分区介绍2、hive的动态分区配置3、hive动态分区语法动态分区加载数据案列2、Hive分桶1、Hive分桶的介绍2、Hive分桶的配置3、Hive分桶的抽样查询1、 Hive动态分区和分桶1、Hive动态分区1、hive的动态分区介绍 hive的静态分区需要用户在插入数据的时候必须手动指定hive的分区字段值,但是这样的话会导致用户的操作复杂度提高,而且在使用的时候会导致数据只能插入到某一个指定分区,无法原创 2021-10-08 10:59:48 · 271 阅读 · 0 评论 -
Hive基本SQL操作
Hive基本SQL操作Hive DDL(数据库定义语言)1、数据库的基本操作2、数据库表的基本操作Hive DML1、插入数据1、Loading files into tables2、Inserting data into Hive Tables from queries3、Writing data into the filesystem from queries4、Inserting values into tables from SQL2、数据更新和删除Hive DDL(数据库定义语言)1、数据库的原创 2021-10-08 10:55:46 · 2190 阅读 · 0 评论 -
Hive-2.3.9的安装搭建
Hive的安装搭建Hive安装分类远程数据库模式安装远程元数据服务模式安装hive可以基于源码的方式安装,也可以使用二进制安装包安装,此文档基于二进制安装前期准备工作,完成hadoop集群的安装Hive中最最重要的角色就是metastore因此按照metastore的管理共有四种hive的安装搭建方式:官网参考地址如下:hive官网安装方式文档Hive安装分类 1、Local/Embedded Metastore Database(Derby) 2、Remote Metastore原创 2021-10-08 10:37:42 · 1595 阅读 · 0 评论 -
Hive的基本介绍
Hive的基本介绍1. hive产生的原因2. hive是什么3. 数据仓库--Hive1、数据仓库基本概念2、数据处理分类:OLAP与OLTPOLTPOLAP1. hive产生的原因提供统一的元数据管理方式使用SQL语言进行数据分析2. hive是什么Hive经常被用作企业级数据仓库。Hive在使用过程中是使用SQL语句来进行数据分析,由SQL语句到具体的任务执行还需要经过解释器,编译器,优化器,执行器四部分才能完成。 (1)解释器:调用语法解释器和语义分析器将SQL语句转换成对应原创 2021-10-08 09:36:33 · 287 阅读 · 0 评论