hive完全分布式环境安装
hadoop高可用集群环境搭建(ntp的时间同步配置+有zookeeper安装包,完整的高可用配置文件步骤)
利用辅助工具MobaXter在Linux centos7上安装mysql
在以上安装Hadoop、zookeeper、mysql之后安装hive1.1.0:
hive安装包下载:
链接: https://pan.baidu.com/s/1jilr7caitNSv-QtaJfCrIg
提取码: fvvk
首先解压:
tar -zxvf hive-1.1.0-cdh5.14.2.tar.gz -C /opt
改名:
cd /opt
mv hive-1.1.0-cdh5.14.2/ hive
创建文件夹:
cd hive
mkdir warehouse
添加环境变量:
export HIVE_HOME=/opt/hive
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$NODE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZK_HOME/bin:$HBASE_HOME/bin:$HIVE_HOME/bin:$PATH
source
source /etc/profile
修改hive-env.sh
cd conf/
mv hive-env.sh.template hive-env.sh
vi hive-env.sh
添加:
HADOOP_HOME=/opt/hadoop
# Hive Configuration Directory can be controlled by:
# export HIVE_CONF_DIR=
export HIVE_CONF_DIR=/opt/hive/conf
# Folder containing extra ibraries required for hive compilation/execution can be controlled by:
# export HIVE_AUX_JARS_PATH=
export HIVE_AUX_JARS_PATH=/opt/hive/lib
创建并添加:
vi hive-site.xml
<configuration>
<property>
<name>hive.matastore.warehouse.dir</name>
<value>/opt/hive/warehouse</value>
</property>
<!--使用本地mysql-->
<property>
<name>hive.matastore.local</name>
<value>true</value>
</property>
<!--mysql连接地址-->
<property>
<name>java.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://127.0.0.1:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<!--mysql驱动-->
<property>
<name>java.jdo.option.ConnectionDriverName</name>
<value>com.jdbc.mysql.Driver</value>
</property>
<!--mysql用户名-->
<property>
<name>java.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<!--mysql密码-->
<property>
<name>java.jdo.option.ConnectionPassword</name>
<value>ok</value>
</property>
</configuration>
下载mysql驱动包存放到 /opt/hive/lib下
地址链接: 链接: https://pan.baidu.com/s/1oDehbPwgD64YXlaDwsxiVg
提取码: huie
同步文件:
scp -r hive hadoop002:$PWD
scp -r hive hadoop003:$PWD
scp /etc/profile hadoop002:/etc/profile
scp /etc/profile hadoop003:/etc/profile
另外两台source一下
source /etc/profile
master节点启动hadoop
三台都启动:zookeeper
start-all.sh
zkServer.sh start
启动mysql服务
service mysql start
2.1版本之后查看初始化信息
需要执行以下命令,查看hive初始化信息:
schematool -dbType mysql -initInfo
在2个slave 副节点hive-site.xml文件添加:
<property>
<name>hive.metastore.uris</name>
<value>thrift://hadoop001:9083</value>
</property>
master节点启动hive,如图所示:
hive
简单的使用hive
在hive中创建一个表格,来验证hive运行是否正常:
hive> create table testHive(
id int,
name string
);
创建成功后,再查看刚刚创建的表格:
hive> show tables;
50070端口同样能看到:
启动metastore服务
在使用slaves节点访问 hive 之前,在master节点中
执行 在后台启动 不然一直出现信息提示 我这里重新开了一个窗口
[hadoop@hadoop01 ~]$ hive --service metastore
quit;
hive --service metastore
jps看一下 Runjar 出现就可以
slaves节点启动hive并执行简单的hive命令
hive
hive>show tables;
发现在master节点上创建的表,可以在slaves节点中看到:
这样我们基于Hadoop分布式集群的hive1.1.0就大功告成了!