Hive安装和基本操作

最新推荐文章于 2023-02-20 13:01:16 发布
最新推荐文章于 2023-02-20 13:01:16 发布
阅读量245 收藏
点赞数
分类专栏： 大数据 文章标签： 大数据 hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lmchhh/article/details/124421809
版权

Hive安装和基本操作

一，Hive的安裝（Mac）

首先從官網 http://archive.apache.org/dist/hive/ 下載hive版本，解壓到 /usr/local目錄下

1.1環境配置

先通過 .bash_profile添加環境變量

sudo vim ~/.bash_profile

export HIVE_HOME=/usr/local/hive-2.2.0
export PATH=$PATH:$HIVE_HOME/bin

然後使添加的環境變量生效

source ~/.bash_profile

1.2 配置文件

需要修改的 Hive 配置文件都在/usr/local/hive-2.2.0/conf/`下，包括：

  • hive-env.sh
  • hive-log4j2.properties

1.2.1 hive-env.sh

修改hive-env.sh文件第48行和51行

48 HADOOP_HOME=/usr/local/hadoop-2.4.0
49 
50 # Hive Configuration Directory can be controlled by:
51 export HIVE_CONF_DIR=/usr/local/hive-2.2.0/conf

1.2.2 hive-log4j2.properties

修改 hive-log4j2.properties文件的第24行

24 property.hive.log.dir = /usr/local/hive-2.2.0/logs

1.2.3 hive-site.xml

將hive-site.xml文件的configuration修改成以下內容

<configuration> 
    <!-- hive元数据地址，默认是/user/hive/warehouse --> 
    <property> 
        <name>hive.metastore.warehouse.dir</name> 
        <value>/user/hive/warehouse</value> 
    </property> 
    <!-- hive查询时输出列名 --> 
    <property> 
    <name>hive.cli.print.header</name> 
        <value>true</value> 
    </property> 
    <!-- 显示当前数据库名 --> 
    <property> 
    <name>hive.cli.print.current.db</name> 
    <value>true</value> 
    </property> 
    <!-- 开启本地模式，默认是false --> 
    <property> 
        <name>hive.exec.mode.local.auto</name> 
        <value>true</value> 
    </property> 
    <!-- URL用于连接远程元数据 --> 
    <property> 
        <name>hive.metastore.uris</name> 
        <value>thrift://localhost:9083</value> 
        <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description> 
    </property> 
    <!-- 元数据使用mysql数据库 --> 
    <property> 
        <name>javax.jdo.option.ConnectionURL</name> 
        <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value> 		         <description>JDBC connect string for a JDBC metastore</description> 
    </property> 
    <property> 
        <name>javax.jdo.option.ConnectionUserName</name> 
        <value>root</value> 
        <description>username to use against metastore database</description> 
    </property> 
    <property> 
        <name>javax.jdo.option.ConnectionPassword</name> 
        <value></value> 
        <description>password to use against metastore database</description>     		
    </property> 
    <property> 
        <name>javax.jdo.option.ConnectionDriverName</name> 
        <value>com.mysql.jdbc.Driver</value> 
        <description>Driver class name for a JDBC metastore</description> 
    </property> 
</configuration>

1.2.4 配置元數據

先在hadoop中創建路徑

hdfs dfs -mkdir /user/hive/tmp 
hdfs dfs -mkdir -p /user/hive/warehouse #创建目录 
hdfs dfs -chmod g+w /user/hive/tmp #修改文件权限 
hdfs dfs -chmod g+w /user/hive/warehouse #修改文件权限

然後將MySQL驅動拷貝到hive的lib目錄下

cp mysql-connector-java-5.1.47.jar /usr/local/hive-2.2.0/lib

再初始化MySQL數據庫

schematool -initSchema -dbType mysql

若初始化成功，會打印以下內容

Starting metastore schema initialization to 2.3.0 
Initialization script hive-schema-2.3.0.mysql.sql 
Initialization script completed 
schemaTool completed

最後開啟元數據

在开启元数据服务前必须 初始化mysql元数据库

如果设置了thriftURL，必须 开启元数据服务

nohup hive --service metastore & #开启元数据

1.3 啟動並測試

啟動hive

nohup hive --service metastore 2>&1 & 
nohup  hive --service hiveserver2 2>&1 &

在控制台輸入 hive 命令進入hive

hive (default)> show databases;
OK
database_name
default
Time taken: 1.845 seconds, Fetched: 1 row(s)
hive (default)> create database lmc;
OK
Time taken: 0.364 seconds
hive (default)> create table lmc.staff(
              > name string,
              > age int)
              > row format delimited fields terminated by "\t";
OK
Time taken: 1.927 seconds
hive (default)> select * from lmc.staff
              > ;
OK
staff.name      staff.age
Time taken: 4.678 seconds
load data local inpath '/usr/local/hive-2.2.0/data/staff.txt' into table lmc.staff;
Loading data to table lmc.staff
OK
Time taken: 0.861 seconds

staff.txt

lmc	23
hh	24

注意：數據之間用tab鍵隔開

關閉hive

ps -ef|grep hive
kill -9 xxx

二，Hive的指令

2.1 基礎命令

show databases; # 查看某个数据库 
use 数据库; # 进入某个数据库 
show tables; # 展示所有表 
desc 表名; # 显示表结构 
show partitions 表名; # 显示表名的分区 
show create table_name; # 显示创建表的结构 

# 建表语句 
# 内部表 
use xxdb; create table xxx; 
# 创建一个表，结构与其他一样 
create table xxx like xxx; 
# 外部表 
use xxdb; create external table xxx; 
# 分区表 
use xxdb; create external table xxx (l int) partitoned by (d string)
# 内外部表转化
alter table table_name set TBLPROPROTIES ('EXTERNAL'='TRUE'); # 内部表转外部表 
alter table table_name set TBLPROPROTIES ('EXTERNAL'='FALSE');# 外部表转内部表 

# 表结构修改 
# 重命名表 
use xxxdb; 
alter table table_name rename to new_table_name; 
# 增加字段 
alter table table_name add columns (newcol1 int comment ‘新增’)；
# 修改字段
alter table table_name change col_name new_col_name new_type；
# 删除字段(COLUMNS中只放保留的字段)
alter table table_name replace columns (col1 int,col2 string,col3 string)；
# 清空表(不分區)
truncate table table_name;
# 删除表
use xxxdb; drop table table_name; 
# 删除分区 
# 注意：若是外部表，则还需要删除文件(hadoop fs -rm -r -f hdfspath) 
alter table table_name drop if exists partitions (d=‘2016-07-01');

三，Hive元數據

hive的元数据存在于mysql中，在mysql中会有一个hive库，存放相应的表，一共53张表。

3.1 元數據表

3.1.1 存储Hive版本的元数据表（VERSION）

该表比较简单，但很重要。

VER_IDSCHEMA_VERSIONVERSION_COMMENT
ID主键Hive版本版本说明
Hive12.1.0Hive release version 2.1.0

如果该表出现问题，根本进入不了Hive-Cli。

比如该表不存在，当启动Hive-Cli时候，就会报错”Table ‘hive.version’ doesn’t exist”。

3.1.2 Hive數據庫相關的元數據表（DBS，DATABASE_PARAMS）

  • DBS

该表存储Hive中所有数据库的基本信息，字段如下：

DB_IDDESCDB_LOCATION_URINAMEOWNER_NAMEOWNER_TYPE
数据库ID数据库描述数据库路徑数据库名数据库所有者用户名所有者角色
1Default Hive databasehdfs://xxxx/warehousedefaultpublicROLE
2NULLhdfs://xxxx/warehouse/lmc.dblmcxxUSER
  • DATABASE_PARAMS

该表存储数据库的相关参数，在CREATE DATABASE时候用

WITH DBPROPERTIES (property_name=property_value, …)指定的参数

DB_IDPARAM_KEYPARAM_VALUE
数据库ID参数名参数值

3.1.3 其他

Hive表和视图相关的元数据表

主要有TBLS、TABLE_PARAMS、TBL_PRIVS，这三张表通过TBL_ID关联。

  • TBLS：该表中存储Hive表、视图、索引表的基本信息。
  • TABLE_PARAMS：该表存储表/视图的属性信息。
  • TBL_PRIVS：该表存储表/视图的授权信息

Hive文件存储信息相关的元数据表

主要涉及SDS、SD_PARAMS、SERDES、SERDE_PARAMS

由于HDFS支持的文件格式很多，而建Hive表时候也可以指定各种文件格式，Hive在将HQL解析成MapReduce时候，需要知道去哪里，使用哪种格式去读写HDFS文件，而这些信息就保存在这几张表中。

  • SDS：该表保存文件存储的基本信息，如INPUT_FORMAT、OUTPUT_FORMAT、是否压缩等。

  • SD_PARAMS：该表存储Hive存储的属性信息，在创建表时候使用。

    ​ STORED BY ‘storage.handler.class.name’ [WITH SERDEPROPERTIES (…)指定。

  • SERDES：该表存储序列化使用的类信息

  • SERDE_PARAMS：该表存储序列化的一些属性、格式信息,比如：行、列分隔符

Hive表分区相关的元数据表

主要涉及PARTITIONS、PARTITION_KEYS、PARTITION_KEY_VALS、PARTITION_PARAMS

  • PARTITIONS：该表存储表分区的基本信息。
  • PARTITION_KEYS：该表存储分区的字段信息。
  • PARTITION_KEY_VALS：该表存储分区字段值。
  • PARTITION_PARAMS：该表存储分区的属性信息。
李奈 - Leemon
关注
专栏目录
HIVE的安装及基础操作
陈十一yi
11-30 284
1）上传软件包并解压 [root@hadoop1 bin]# cd /opt/ [root@hadoop1 opt]# rz [root@hadoop1 opt]# ls apache-hive-1.2.2-bin.tar.gz mysql-5.7.16-1.el7.x86_64.rpm-bundle.tar #将Hive软件包解压到/hadoop/soft目录中，并将解压的目录改名为hive，将mysql安装包解压到/hadoop/soft/mysql目录中 [root@hadoop1 opt]#
hive安装和基本操作(一)
fanday的博客
01-25 7738
文章目录hive的基本概念hive的优缺点优点缺点Hive架构原理Hive安装环境准备Hive安装部署将本地文件导入Hive案例MySql安装安装包准备安装MySql服务器安装MySql客户端MySql中user表中主机配置Hive元数据配置到MySql驱动拷贝配置Metastore到MySqlHive常用交互命令Hive其他命令操作Hive常见属性配置Hive数据仓库位置配置查询后信息显示配置H...
hive安装和基本操作(二)
fanday的博客
01-25 326
文章目录查询基本查询（Select…From）全表和特定列查询列别名常用函数Limit语句Where语句Like和RLike分组Group By语句Having语句Join语句等值Join表的别名内连接左外连接右外连接满外连接连接谓词中不支持or排序全局排序（Order By）每个MapReduce内部排序（Sort By）分区排序（Distribute By）Cluster By分桶及抽样查询分...
hadoop 2.2.0安装
进击的莱鸟
11-16 108
hadoop 2.2.0相比于hadoop 0.20.X的安装很不一样。 1、准备三台机器 test01(master)，test02(slaves), test03(slaves)，并把test01的公钥放到test02/test03的~/.ssh/authorized_keys以打通master和集群的通信。 2、下载hadoop-2.2.0.tar.gz 3、在hadoop 2.2....
hive使用中常见错误
热门推荐
奋斗的小鸟专栏
09-06 3万+
1.1. hive错误 1.1.1.  hive2.3初始化mysql不起作用 [root@localhost65bin]# schematool -initSchema -dbType mysql--verbose Metastore connectionURL:   jdbc:derby:;databaseName=metastore_db;create=true Metastor
HIVE安装和基本操作
呵一只笨笨
12-10 571
一、安装HIVE1、在本地文件系统中找到hadoop所在目录，打开命令终端，如图：2、通过命令终端进入到hadoop所在文件夹，并通过命令ls 查看bin文件下所有命令，如图：3、运行启动命令start-all.sh启动hadoop，并用jps命令查看所有进程是否成功启动，如图：4、解压HIVE安装文件到/software目录，如图：5、修改环境变量，如图：6、修改配置文件，将 hive-env....
大数据实验六实验报告：熟悉Hive的基本操作
06-20
通过这个实验，学生能够掌握Hive的基本操作，包括创建表（内部表和分区表）、数据导入、数据查询以及动态分区的使用，这些都是大数据分析中的关键步骤。同时，了解如何在Windows环境下配置和使用Ubuntu虚拟机，以及...
hive基本操作
05-16
hive 基本操作的命令和hive 实用命令等，有利与学习hive和mysql
Hive 基本命令操作1
08-03
以上就是关于Hive基本命令操作的一些核心知识点，包括创建表、查看表结构、数据加载以及查询等。在实际操作中，根据业务需求选择合适的数据模型（如分区表）并正确地管理数据，能够极大地提高数据处理的效率和便利性...
hive初始化mysql数据库报错
ASN_forever的博客
04-30 3143
[root@master bin]# schematool -initSchema -dbType mysql Metastore connection URL: jdbc:mysql://192.168.89.128:3306/hive?createDatabaseIfNotExist=true&useSSL=false Metastore Connection Driver...
Hive 2.3.0 安装部署（mysql 8.0）
最新发布
小方块的博客
02-20 1363
hive mysql centos7安装
大数据之hive——元数据初始化
luo981695830的博客
03-03 8197
元数据初始化命令： schematool -dbType mysql -initSchema 控制台日志 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/home/sweet/software/apache-hive-2.3.6-bin/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.cla
Hive的安装配置
piaoniu_1985的专栏
04-21 188
Hive在大数据中占有很重要的地位，他作为HDFS中的数据引擎，把sql语句转化为MapReduce程序，提交到hadoop中执行。对于没有接触过大数据的开发人员来说，只要会普通的sql语句就可以很方便的来操作HDFS。在使用HUE的web操作工作台中，可以很容易的开发出复杂的Hive语句，实现一系列的功能。 准备 tar -zxvf apache-hive-2.3.0-bin.tar.gz ...
hive连接mysql报错_hive远程模式初始化mysql报错
weixin_36415206的博客
02-15 1335
hive的远程模式需要mysql数据库,需要安装mysql数据库,创建mysql 数据库用于存储hive的原信息create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;修改访问权限grant all privileges on *.* to "root"@"%" identified by "root" with gran...
kill(杀死)hive进程(job)的2种方法
weixin_42412645的博客
07-26 8320
先去yarn界面查找你要杀死的程序，在最右边ApplicationMaster点进入下面界面 方法1. yarn application -kill application_Id 方法2. hadoop job -kill job_id
Day13[20200725]
ivhs的博客
08-01 238
一、课程回顾 1.共同的问题 （1）换行 lines terminated by ‘\n’ -> 让Java将换行符作为两条数据分分隔符 …metastore?\ncreate… xml的配置文件 不要有中文，不要有空格，不要有tab，不要换行 ** ** （2）关于日志 hive的日志需要自己配置一下的 [hadoop@hadoop212 conf]$ vim hive-log4j.properties 2.核心知识点 （1）关于Hive Hive是一个Java编写的应用程
Hive安装中元数据初始化遇到的坑
Sven119的博客
05-29 4390
背景： 在已经部署了hadoop的linux中，安装hive，并元数据用MySQL数据库。 hive-default.xml.template 是坑中之最。 1.需要修改文件名。注意！这个文件名需要改。 cp hive-default.xml.template hive-site.xml cp beeline-log4j2.properties.template beeline-...
Apache Hive2.1.0安装笔记
三劫散仙
11-16 2297
Hive2.x已经足够稳定了，前面也安装过hive0.x和Hive1.x的版本，今天我们来看下hive2.x如何安装使用。 环境： centos7.1 Hadoop2.7.3 JDK8 Hive2.1.0 1，首先需要下载hive最新的稳定版本的包，并保证的你Hadoop集群已经是能够正常运行的 http://ftp.kddilabs.jp/infosys
探索Hive：起源、安装与基本操作指南
通过学习Hive的产生背景、定义、本地安装和基本操作，用户可以快速上手并进行高效的数据处理和分析。无论是数据的加载、清洗、转换还是最终的展示，Hive都提供了强大的功能和灵活性，是现代大数据分析不可或缺的一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值