spark上安装mysql与hive

首先查看一下spark安装目录下的lib\spark-assembly-1.0.0-hadoop2.2.0.jar\org\apache\spark\sql下有没有hive目录，如果没有的话先下载支持hive版的spark。

安装mysql

lsb_release -a  查看虚拟机版本

http://dev.mysql.com/downloads/mysql#downloads  官网上下载相应版本

下载三个

MySQL-server-5.6.20-1.el6.i686.rpm

MySQL-client-5.6.20-1.el6.i686.rpm

MySQL-devel-5.6.20-1.el6.i686.rpm

进入下载的软件存放目录进行安装，否则安装后会出问题

rpm -ivh MySQL-server-5.6.20-1.el6.i686.rpm

rpm -ivh MySQL-client-5.6.20-1.el6.i686.rpm

rpm -ivh MySQL-devel-5.6.20-1.el6.i686.rpm

启动服务  service mysql start

mysql  -uroot -p

直接回车不输密码，报错，认真查看安装时打印出来的信息，发现mysql给root用户随机生成了密码，写在  /root/.mysql_secret  中，所以，

cat /root/.mysql_secret   

查看密码，XlP5M_wE8w0LgrCG。

登录成功。

此时如果想继续操作，会报错，要求你修改默认密码

SET PASSWORD = PASSWORD('new_password')

即可。

重启与停止mysql服务

启动方式1：service mysql start
启动方式2：/etc/init.d/mysql start
停止方式1：service mysql stop
停止方式2：/etc/init.d/mysql shutdown
重启方式1：service mysql restart
重启方式2：/etc/init.d/mysql restart

创建hadoop用户。

create user 'hadoop' identified by 'hadoop';

grant all on *.* to hadoop@'%' with grant option; 

exit

重新用hadoop用户登陆并创建hive数据库

mysql -uhadoop -p

create database hive;

use hive

show tables;

exit

下载apache-hive-0.13.1-bin.tar.gz

解压  tar zxf  apache-hive-0.13.1-bin.tar.gz

改名  mv apache-hive-0.13.1-bin hive013
修改配置文件 cd hive013/conf
 cp hive-default.xml.template hive-site.xml
 cp hive-env.sh.template hive-env.sh

 vi hive-env.sh

    HADOOP_HOME=/app/hadoop/hadoop220

vi hive-site.xml

    <property> 
  <name>javax.jdo.option.ConnectionURL</name> 
  <value>jdbc:mysql://DataNode2:3306/hive?=createDatabaseIfNotExist=true</value> 
  <description>JDBC connect string for a JDBC metastore</description> 
</property> 
<property> 
  <name>javax.jdo.option.ConnectionDriverName</name> 
  <value>com.mysql.jdbc.Driver</value> 
  <description>Driver class name for a JDBC metastore</description> 
</property> 
<property> 
  <name>javax.jdo.option.ConnectionUserName</name> 
  <value>hadoop</value> 
  <description>username to use against metastore database</description> 
</property> 
<property> 
  <name>javax.jdo.option.ConnectionPassword</name> 
  <value>hadoop</value> 
  <description>password to use against metastore database</description> 
</property>
###hive.metastore.warehouse.dir是用缺省位置，可以自行修改

增加驱动程序

mysql-connector-java-5.1.26-bin.jar 到/app/hadoop/hive013/lib/.目录下

show databases;

可以看到default数据库

hive客户端安装

从datanode2上直接复制到datanode1：

scp hive013/ hadoop@DatNode1:/app/hadoop/

conf目录下 vi hive-site.xml

<property>
  <name>hive.metastore.uris</name>
  <value>thrift://DataNode2:9083</value>
  <description>Thrift uri for the remote metastore. Used by metastore client to connect to remote metastore.</description>
</property>

后台运行
前台退出ctrl+c 
nohup bin/hive --service metastore > metastore.log 2>&1 &
后台退出
jobs

kill %num