HIVE centos6.5环境搭建

1.关于hive的几个网站

官网：https://cwiki.apache.org/confluence/display/Hive/GettingStarted

GitHub：https://github.com/apache/hive

下载路径：http://archive.apache.org/dist/hive/

2.解压

hive版本 0.13.1

hadoop版本 2.5.0

JDK 1.7

mysql

3.启动job history

 sbin/mr-jobhistory-daemon.sh start historyserver

万一任务出错可以在8088端口查看

4.配置 (使用notepad++)

1.修改hive-env.sh 配置hadoop和hive的配置文件目录

 

2.依照官网创建文件夹，并修改权限

注意：第二个路径是多级目录 需要添加 -p

 

 

3.启动

bin/hive

5.初步使用

1.创建表

create table stu(id int,name string) ;

2.select count(*) from stu;

 

8088端口查看信息：

6.mysql配置

derby内存数据库，只能供一个人使用。

1.解压：unzip mysql-libs.zip

2. 查看原来有没有安装mysql

rpm -qa|grep mysql

3.如果有，先卸载

rpm -e --nodeps

4.安装server

rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm 

修改mysql密码：

service mysql start 启动数据库
cat /root/.mysql_secret查看初始密码
mysql -uroot -p初始密码
set PASSWORD=PASSWORD('123456')；
exit

mysql -uroot -p123456

5.将mysql的jar包 复制到hive的lib包里面

cp mysql-connector-java-5.1.27-bin.jar /opt/software/hive-0.13.1-cdh5.3.6/lib

7.创建hive-site.xml

官网链接：https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin

具体链接：https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- URL    -->
	<property>
	  <name>javax.jdo.option.ConnectionURL</name>
	  <value>jdbc:mysql://192.168.200.137:3306/metastore?createDatabaseIfNotExist=true</value>
	  <description>JDBC connect string for a JDBC metastore</description>
	</property>
	<!-- DriverName    -->
	<property>
	  <name>javax.jdo.option.ConnectionDriverName</name>
	  <value>com.mysql.jdbc.Driver</value>
	  <description>Driver class name for a JDBC metastore</description>
	</property>
	<!-- UserName    -->
	<property>
	  <name>javax.jdo.option.ConnectionUserName</name>
	  <value>root</value>
	  <description>username to use against metastore database</description>
	</property>
	<!-- Password    -->
	<property>
	  <name>javax.jdo.option.ConnectionPassword</name>
	  <value>123456</value>
	  <description>password to use against metastore database</description>
	</property>
	<!-- hive cli界面的行头提示    -->
	<property>
	  <name>hive.cli.print.header</name>
	  <value>true</value>
	  <description>Whether to print the names of the columns in query output.</description>
	</property>
	<!-- hive cli界面的当前数据库的提示    -->
	<property>
	  <name>hive.cli.print.current.db</name>
	  <value>true</value>
	  <description>Whether to include the current database in the Hive prompt.</description>
	</property>
	<property>
  <name>hive.fetch.task.conversion</name>
  <value>more</value>
 
</property>

</configuration>

建议先在linux环境下编辑一下hive-site.xml这个文件，避免编码的问题

8.再次启动

hive 启动：bin/hive

mysql启动：mysql -uroot -p123456

看到mysql里面多了metastore数据库，存储元数据的，那么就完全配置好啦。

元数据存在metastore数据库的表里面

9.笔者此次安装hive和mysql在同一台机器上。