HIVE安装
前期准备工作
1 检查hadoop是否启动 hive安装到主节点10.112.178.*** nameNode节点上机器上从节点10.112.178.***,10.112.178.***
jps
2 下载h包
采用2.1.1版本
wget http://mirrors.cnnic.cn/apache/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz
3解压hive
tar -zxvf apache-hive-2.1.1-bin.tar.gz
4、配置环境变量
在root用户下: 用jenkins登录108sudo执行配置文件 以及chown命令
su root
vim /etc/profile
export HIVE_HOME=/home/hadoop/apache-hive-2.1.1-bin
PATH=$HIVE_HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$FLUME_HOME/bin:/home/jenkins/script:$PATH
5 安装mysql
参看mysql安装文档
坑1
安装mysql的时候初始化数据库的时候
./scripts/mysql_install_db --user=mysql --defaults-file=/app/mysql/mysql/my.cnf --basedir=/app/mysql/mysql --datadir=/app/mysql/mysql/data
注意--user=mysql 前提是你得创建了mysql用户 因为我用jenkins用户安装的mysql
创建Hive用户:
mysql>CREATE USER ‘hive’ IDENTIFIED BY ‘hive’;
mysql>GRANT ALL PRIVILEGES ON . TO ‘hive’@’master’ WITH GRANT OPTION;
mysql> GRANT ALL PRIVILEGES ON . TO ‘hive’@’master’ IDENTIFIED BY ‘hive’;
mysql>flush privileges;
创建Hive数据库:
mysql>create database hive;
设置编码
alter database hive character set latin1;
6、修改Hive配置文件:
cd /apache-hive-1.2.1-bin/conf
cp hive-default.xml.template hive-default.xml
vi hive-site.xml
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
</configuration>
配置hive-env.sh
需要配置一下几点
export JAVA_HOME=/usr/java/jdk1.7.0_45
export HADOOP_HOME=/home/hadoop/hadoop-2.7.2
export HIVE_HOME=/home/hadoop/apache-hive-2.1.1-bin
export HIVE_CONF_DIR=/home/hadoop/apache-hive-2.1.1-bin/conf
指定以上配置
坑2:修改过的hive-default.xml未生效 读取的还是之前的配置文件 也就是hive内置derby
所以说删除了之前装好的hive重新安装 配置就好了原因很奇怪 没想明白
7 拷贝驱动包
8、拷贝JDBC驱动包
将mySql的JDBC驱动包复制到Hive的lib目录下
cp mysql-connector-java.bin.jar /usr/local/hadoop/ apache-hive-1.2.1-bin /lib
9 拷贝到集群中
scp -r /home/hadoop/apache-hive-2.1.1-bin VM-10-112-178-110:/home/hadoop/
有几个节点 拷贝几个(前提hadoop节点安装成功可以并且设置免登陆)
10 初始化数据
schematool -dbType mysql -initSchema
11 运行hive
hive –service cli
hive -hiveconf hive.root.logger=DEBUG,console
hive --service hiveserver2 --hiveconf hive.root.logger=DEBUG,console
hiveserver2 nohup hive --service hiveserver2 &
在运行hive的时候 报错 怀疑是大数据未启动