北风网Hadoop套餐教程 Hive 入门实战：Mysql+Hive

1，本例将hadoop的错误日志经过Hive导入到mysql中。这里不讨论实验的实际意义，目的是通过调用Hive的java API，加深对Hive的理解，熟悉Hive的运用。

2，实验的逻辑：

2.1，将hadoop的日志交由Hive数据仓库管理。

2.2，由Hive数据仓库对日志数据进行清理，将error级别的日志信息导入到mysql数据库中。

逻辑上其实及其简单：将hadoop日志导入到Hive 中，将Hive中的部门日志导入到mysql中。

3，实验详细步骤：

3.1，创建java工程，导入hive安装包下lib中的所有jar包，导入hadoop的核心包，导入mysql的驱动包。

3.2新建两个类HiveUtil和MysqlUtil，分别用来操作Hive和mysql。

HiveUtil中包含五个函数：获取Hive数据仓库的连接、创建数据表、向数据库表中导入数据、查询、关闭数据仓库连接。

package cn.lcy.hive;

import java.sql.DriverManager;
import java.sql.Connection;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;

public class HiveUtil {
<span style="color:#ff0000;">	private static java.sql.Connection hiveConn=null;
   //连接Hive数据仓库，注意Hive数据仓库的驱动和连接字符串
</span>   public static Connection getHiveConn(){
    	if(hiveConn==null){
    		try {
				Class.forName("org.apache.hadoop.hive.jdbc.HiveDriver");
				hiveConn=DriverManager.getConnection("jdbc:hive://hadoop0:10000/default","","");
			} catch (Exception e) {
 				e.printStackTrace();
			}
    		
    	}
    	return hiveConn;
    }
  <span style="color:#ff0000;">//创建数据仓库表
</span>    public static void createTable(String hiveSql){
    	try {
			Statement stmt = hiveConn.createStatement();
			stmt.executeQuery(hiveSql);
		} catch (SQLException e) {
			e.printStackTrace();
		}
    }
<span style="color:#ff0000;">  //向数据仓库中载入数据
</span>    public static void loadData(String hiveSql){
    	try {
			Statement stmt = hiveConn.createStatement();
			stmt.executeQuery(hiveSql);
		} catch (SQLException e) {
			e.printStackTrace();
		}
    }
  <span style="color:#ff0000;">//根据条件查询数据
</span>    public static ResultSet queryHive(String hiveSql){
    	try {
			Statement stmt = hiveConn.createStatement();
			ResultSet querySet=stmt.executeQuery(hiveSql);
			return querySet;
		} catch (SQLException e) {
			throw new RuntimeException(e);
		}
    }
  <span style="color:#ff0000;">//关闭连接
</span>    public static void closeHiveConnection(){
    	if(hiveConn!=null){
    		try {
    			hiveConn.close();
			} catch (SQLException e) {
				e.printStackTrace();
			}
    	}
    }
}

MysqlUtil包含三个函数：获取mysql数据库的连接、从Hive数据仓库中导入符合条件的数据、关闭数据连接。

 

package cn.lcy.hive;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.util.ArrayList;
import java.util.List;

public class MysqlUtil {
    private static  Connection conn=null;
    //连接mysql数据库

    public static Connection getConn(){
      if(conn==null){
	try {
	 Class.forName("com.mysql.jdbc.Driver");
	 conn=DriverManager.getConnection("jdbc:mysql://hadoop0:3306/hive?useUnicode=true&characterEncoding=GBK","root","admin");
	 			
	} catch (Exception e) {
	   e.printStackTrace();
	}
    }
      return conn;
    }
    //查询Hive中的数据并导入到mysql数据库中

    public static void loadDataFromHive(String hiveSql){
    	ResultSet queryResultFromHive = HiveUtil.queryHive(hiveSql);
    	List<HadoopLogInfo> list=new ArrayList<HadoopLogInfo>();
    	HadoopLogInfo logInfo=null; 
    	try {
	     while(queryResultFromHive.next()){
	     logInfo=new HadoopLogInfo();
	     logInfo.setDate(queryResultFromHive.getString(1));
	     logInfo.setTime(queryResultFromHive.getString(2));
	     logInfo.setLog_level(queryResultFromHive.getString(3));
	     logInfo.setLog_from(queryResultFromHive.getString(4));
	     logInfo.setLog_info(queryResultFromHive.getString(5)+queryResultFromHive.getString(6) 

                                  +queryResultFromHive.getString(7));
	     list.add(logInfo);
	    }
	} catch (SQLException e) {
	    e.printStackTrace();
	}
    	Connection conn=getConn();
    	try {
	    String sql = "insert into hadooplog(logdate,logtime,loglevel,logfrom,loginfo) values(?,?,?,?,?)";
	    PreparedStatement prepareStatement = conn.prepareStatement(sql);
	    for(HadoopLogInfo logInfo2:list){
		prepareStatement.setString(1, logInfo2.getDate());
		prepareStatement.setString(2, logInfo2.getTime());
		prepareStatement.setString(3, logInfo2.getLog_level());
		prepareStatement.setString(4, logInfo2.getLog_from());
		prepareStatement.setString(5, logInfo2.getLog_info());
	   }
	  		
		prepareStatement.executeUpdate();
	} catch (SQLException e) {
		e.printStackTrace();
	}
    }
    public static void closeMysqlConnection(){
    	if(conn!=null){
    	   try {
		conn.close();
	   } catch (SQLException e) {
		e.printStackTrace();
	   }
    	}
    }
}

Main函数：

package cn.lcy.hive;

public class Hive2Mysql {

	public static void main(String[] args) {
           //连接Hive数据仓库

            HiveUtil.getHiveConn();
           //创建表

            HiveUtil.createTable("create table if not  exists loghadoop (datelog string,time string,loglevel string ,logfrom   

             string,info1 string ,info2 string,info3 string)row format delimited fields terminated by ' '");
           //向表中加载数据

            HiveUtil.loadData("load data local inpath '/usr/local/testdata/testlog' into table loghadoop");
           //连接mysql数据仓库

            MysqlUtil.getConn();
           //查询Hive数据库并加载到mysql中。这里要注意作为查询条件的类的值要用引号包起来。

            MysqlUtil.loadDataFromHive("select *from loghadoop where loglevel=<span style="color:#ff0000;">'</span>"+args[0<span style="color:#ff0000;">]+"'");
</span>            HiveUtil.closeHiveConnection();
            MysqlUtil.closeMysqlConnection();
            System.out.println("ok....task completed!");
	}

}

要注意的是：连接Hive数据库之前要启动HiveServer，执行命令nohub hive --service  hiveserver，启动hiveserver，执行命令之后，好像不动了，没有反应了，这是正常的，这是Hive的一个bug。如果不启动HiveServer直接去连接会报连接失败，连接被refused。