Hive
Hive相关博文
@阿证1024
这个世界上最好的语言就是你的实力。
展开
-
HBase与Hive的对比
1. Hive(1) 数据仓库Hive 的本质其实就相当于将 HDFS 中已经存储的文件在 Mysql 中做了一个双射关系,以方便使用 HQL 去管理查询。(2) 用于数据分析、清洗Hive 适用于离线的数据分析和清洗,延迟较高。(3) 基于 HDFS、MapReduceHive 存储的数据依旧在 DataNode 上,编写的 HQL 语句终将是转换为 MapReduce 代码执行。2. HBase(1) 数据库是一种面向列族存储的非关系型数据库。(2) 用于存储原创 2020-08-20 13:51:40 · 220 阅读 · 0 评论 -
Hive定义,优缺点,架构原理介绍
1.1 什么是HiveHive:由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。Hive本质是:将HQL转化为MapReduce程序1.2 Hive优缺点1.2.1 优点1) 操作接口采用类 SQL 语法,提供快速开发的能力(简单、容易上手)。2)避免了去写 MapReduce,减少开发人员的学习成本。3)Hive 的执行延迟比较高,因此 Hive 常用于数据分析,对实时性原创 2020-08-16 12:05:48 · 209 阅读 · 0 评论 -
hive删除表报错:FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask...
之前安装了hive(地址:https://blog.csdn.net/qq_43437122/article/details/104989110),今天练习命令的时候出了问题,问题如下:FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:...原创 2020-03-21 21:21:28 · 2106 阅读 · 1 评论 -
图解教程--如何用JDBC访问Hive
1. 启动hiveserver2服务bin/hiveserver2它是一个阻塞进程,如下图:2. 启动beeline新开一个窗口,执行命令:bin/beeline3. 连接hiveserver2beeline> !connect jdbc:hive2://hadoop02:10000 (回车)Connecting to jdbc:hive2://hadoop02:10000Enter username for jdbc:hive2://hadoop02:10000: hado原创 2020-08-17 08:19:05 · 506 阅读 · 0 评论 -
Hive元数据配置到MySQL
准备驱动:Hive要连接到mysql肯定需要连接驱动,所以要先准备连接驱动。链接:https://pan.baidu.com/s/1aru6ghaOQgfPxKtkavDEhg提取码:yj1t步骤如下:1.上传mysql-libs.zip到Linux /opt/software目录下2.解压mysql-libs.zipunzip mysql-libs.zip3. 进入mysql-libs目录下,并解压mysql-connector-java-5.1.27.tar.gz文件sudo t原创 2020-08-16 15:33:47 · 392 阅读 · 0 评论 -
启动Hive报错:Access denied for user 'root'@'az01' (using password: YES)(关于本地和远程的错误)
今天在安装Hive,结果在配置metastore的时候发现了一个错误,如图:这种错呢一般有两种错误类型:一是密码错误:**(using password: NO)**为NO,但是我的图片上显示为YES,那么密码是不错的。二是权限错误:你需要更改一下权限就行了。详情见我的这篇博客(两条命令就OK了):https://blog.csdn.net/qq_43437122/article/det...原创 2020-03-20 12:00:03 · 676 阅读 · 0 评论 -
Hive安装+配置元数据到MySQL最新教程
单纯的配置安装Hive并不难,但是我们安装完Hive之后需要配置元素据存储到MySQL,所以我们接下来分步走安装Hive:步骤一:安装Hive客户端步骤二(建议在root用户下操作):安装MySQL步骤三:配置MySQL步骤四:配置元数据到MySQL...原创 2020-08-16 15:36:48 · 150 阅读 · 0 评论 -
Hive配置元数据到MySQL之MySQL中user表中主机配置
修改user表的原因:1)方便我们在Windows上面远程连接到Linux上的MySQL,然后查看Hive的元素据信息。2)避免Hive客户端和MySQL不在同一机器上时,因为user表中的Host字段的设置导致Hive客户端无法启动。步骤如下:1.进入MySQLmysql -u root -p2.显示数据库show databases;3.使用MySQL数据库use mysql;4.展示 mysql 数据库中的所有表show tables;5. 查询user表原创 2020-08-16 14:29:25 · 280 阅读 · 0 评论 -
Linux下Hadoop安装Hive(配置metastore为mysql,详细图解)
我的环境:CentOS7 + Hive0.13.0 + 集群(没有安装包的可以联系我)1.上传压缩包2.解压压缩包(安装目录自定义)tar -zxvf apache-hive-0.13.0-bin.tar.gz -C /az/ls 查看:此时你就可以进入到bin目录下,启动hive,如图:但是这样的hive是不支持多链接的,咱们是要在集群下使用hive,所以还要把他的meta...原创 2020-03-20 17:34:31 · 818 阅读 · 0 评论 -
Hive常用数据类型介绍
3.1 基本数据类型3.2 集合数据类型Hive有三种复杂数据类型 ARRAY、MAP和 STRUCT。ARRAY和 MAP与 Java中的Array和 Map类似,而 STRUCT与 C语言中Struct类似,它封装了一个命名字段集合,复杂数据类型允许任意层次的嵌套。3.3 类型转换Hive的原子数据类型是可以进行隐式转换的,类似于Java的类型转换,例如某表达式使用 INT类型,TINYINT会自动转换为 INT类型,但是 Hive不会进行反向转化,例如,某表达式使用 T原创 2020-08-17 08:41:06 · 442 阅读 · 0 评论 -
Hive如何分桶及抽样查询---知识详解+案例实操
Hive分桶表介绍 :分区针对的是数据的存储路径;分桶针对的是数据文件。分区提供一个隔离数据和优化查询的便利方式。不过,并非所有的数据集都可形成合理的分区,特别是之前所提到过的要确定合适的划分大小这个疑虑。分桶是将数据集分解成更容易管理的若干部分的另一个技术。1. 数据准备分隔符为’\t’1001 liubei1002 zhangfei1003 guanyu1004 caocao1005 machao1006 huangzhong1007 simayi1008 zhugeliang10原创 2020-08-17 13:01:57 · 817 阅读 · 0 评论 -
Hive详细图解安装最新教程
机器需具备条件:1)安装好Hadoop(集群或者伪分布式都可以)2)安装好mysql(如果还没有安装后续有教程,因为并不是单纯的安装好MySQL,还需要配置一些东西)Hive下载地址:1)Hive 官网地址http://hive.apache.org/2)文档查看地址https://cwiki.apache.org/confluence/display/Hive/GettingStarted3)下载地址http://archive.apache.org/dist/hive/原创 2020-08-16 13:48:04 · 569 阅读 · 0 评论 -
数据仓库Hive和关系型数据库的比较
由于 Hive 采用了类似 SQL 的查询语言 HQL(Hive Query Language),因此很容易将 Hive 理解为数据库。其实从结构上来看,Hive 和数据库除了拥有类似的查询语言,再无类似之处。本节将从多个方面来阐述 Hive 和数据库的差异。数据库可以用在 Online 的应用中,但是 Hive 是为数据仓库而设计的,清楚这一点,有助于从应用角度理解 Hive 的特性。1.查询语言由于 SQL 被广泛的应用在数据仓库中,因此,专门针对 Hive 的特性设计了类 SQL的查询语言 .原创 2020-08-16 12:04:14 · 765 阅读 · 0 评论 -
如何查看Hive中执行的所有历史命令
1. 进入到 “/root” 目录下或者"/home/user(你的用户名)"目录下2. 执行 “cat .hivehistory” 命令原创 2020-08-08 09:35:52 · 5264 阅读 · 0 评论 -
Hive数据导出常用操作
前言:如何导出Hive中的数据,我接触到的有五种方式。接下来以student表为例进行介绍:1. Insert导出1.1 导出数据到本地insert overwrite local directory '/opt/bigdatacase/export_dir/student' select id,name from student;可是各个字段之间的数据都连在一起了,所以我们应该格式化导出的数据。1.2 格式化导出数据到本地insert overwrite local d原创 2020-08-18 09:02:03 · 937 阅读 · 0 评论