安装Hive并导入csv文件

quick5g

已于 2022-07-03 22:22:12 修改

阅读量944

点赞数

于 2022-07-03 18:45:14 首次发布

本文链接：https://blog.csdn.net/u013666742/article/details/125587250

版权

大数据专栏收录该内容

1 篇文章 0 订阅

订阅专栏

安装Hive并导入csv文件

下载安装包

下载hive： https://mirrors.aliyun.com/apache/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz
下载hadoop: https://mirrors.aliyun.com/apache/hadoop/common/hadoop-3.3.3/hadoop-3.3.3.tar.gz
解压并配置环境变量

cd /mnt/app/local/db/
tar -xzvf hive-x.y.z.tar.gz
cd hive-x.y.z
export HIVE_HOME={{pwd}}
export PATH=$HIVE_HOME/bin:$PATH

tar -xzvf hadoop-x.y.z.tar.gz
cd hadoop-x.y.z
export HADOOP_HOME={{pwd}}
export PATH=$HADOOP_HOME/bin:$PATH

配置

hadoop fs -mkdir       /mnt/app/data/hive/tmp
hadoop fs -mkdir       /mnt/app/data/hive/warehouse
hadoop fs -chmod g+w   /mnt/app/data/hive/tmp
hadoop fs -chmod g+w   /mnt/app/data/hive/warehouse

配置hive-site.xml

cd $HIVE_HOME/conf
# 复制编辑hive-env.sh
cp hive-env.sh.template hive-env.sh
vim hive-env.sh
export HADOOP_HOME=/mnt/app/local/db/hadoop-3.3.3
export HIVE_CONF_DIR=/mnt/app/local/db/hive-3.1.3/conf/
export JAVA_HOME=/mnt/app/sdk/sdkman/candidates/java/8.0.322.fx-zulu

# 复制并编辑hive-site.xml
cp hive-default.xml.template hive-site.xml
vim hive-site.xml

<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/mnt/app/data/hive/warehouse/</value>
</property>

<!-- 配置mysql元数据连接 -->
<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://127.0.0.1:3306/hive?characterEncoding=UTF-8&useSSL=false</value>
  </property>
<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
</property>
<property>
   <name>javax.jdo.option.ConnectionUserName</name>
   <value>root</value>
  </property>
<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>${mysql_pwd}</value>
</property

下载并复制mysql 驱动

cp ~/Downloads/mysql-connector-java-5.1.46.jar lib

mysql元数据初始化

$HIVE_HOME/bin/schematool -dbType mysql -initSchema

初始化成功之后，如下图所示（前提是mysql服务正常）
在这里插入图片描述

启动hive-cli(默认端口1000)，beeline

Hive新版本推荐使用Beeline

# default port: 10000
$HIVE_HOME/bin/hiveserver2
$HIVE_HOME/bin/beeline -u jdbc:hive2://localhost:10000

启动hive-metastore
启动 hive-metastore

# default port: 9083, presto-catalog-hive必须
bin/hive --service metastore
# Hive客户端工具后续将使用Beeline 替代HiveCLI ，并且后续版本也会废弃掉HiveCLI 客户端工具
bin/hive

使用beeline创建表，并导入csv数据

# create table (指定分隔符号)
CREATE TABLE pokes (foo INT, bar STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

# load data
load data local inpath '/home/wiki/Documents/pokes.csv'  overwrite into table pokes;

在这里插入图片描述