hive经典例子

最新推荐文章于 2021-10-16 17:05:29 发布
最新推荐文章于 2021-10-16 17:05:29 发布
阅读量2.5k 收藏 3
点赞数
分类专栏： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010220089/article/details/51154200
版权 
package com.bailiangroup.bigdata.utils;

import java.io.File;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;

import org.apache.log4j.Logger;

public class HiveJdbcCliUtil {

	/**
	 * Hive的JavaApi
	 * 
	 * 启动hive的远程服务接口命令行执行：hive --service hiveserver >/dev/null 2>/dev/null &
	 * 
	 * 
	 */
	 String driverName;
	 String url;
	 String username;
	 String password;
	 String sql = "";
	 ResultSet res = null;
	 Connection conn = null;
	 Statement stmt = null;
	static final Logger log = Logger.getLogger(HiveJdbcCliUtil.class);

	public HiveJdbcCliUtil(String driverName, String url, String username, String password) {
		this.driverName = driverName;
		this.url = url;
		this.username = username;
		this.password = password;

	}

	public  void init() {
		try {
			Class.forName(driverName);
			if (conn == null) {
				conn = DriverManager.getConnection(url, username, password);
			}
			if (stmt == null) {
				stmt = conn.createStatement();
			}
		} catch (Exception e) {
			e.printStackTrace();
		}

	}

	public void showAllFiles(File dir) throws Exception {
		File[] fs = dir.listFiles();
		for (int i = 0; i < fs.length; i++) {
			//System.out.println(fs[i].getAbsolutePath());
			String name = fs[i].getName();
			//System.out.println("name =" + name);
			String substring = null;
			String date  = null;
			if(name.length()>14){
			 substring = name.substring(name.length() - 14, name.length());
			 date = substring.substring(0, 10);
			 //System.out.println(date);
			}
			String s17_kf_case_normal = "sourcedata.s17_kf_case_normal";
			String s17_kf_case_postil = "sourcedata.s17_kf_case_postil";
			String s17_kf_case_transfer_his = "sourcedata.s17_kf_case_transfer_his";
			String s17_kf_customer_info = "sourcedata.s17_kf_customer_info";
			String s17_kf_main_cases = "sourcedata.s17_kf_main_cases";
			
			if (name.contains("KF_CASE_NORMAL")) {
				System.out.println("------>"+fs[i].getAbsolutePath());
				sql = "load data local inpath " + "'" + fs[i].getAbsolutePath() + "'" + "  overwrite into table "
						+ s17_kf_case_normal + " partition(" + "dt ='" + date + "')";
				log.info("Running:" + sql);
				System.out.println("sql==="+sql);
				stmt.execute(sql);
			}
			
			if (name.contains("KF_CASE_POSTIL")) {
				System.out.println("------>"+fs[i].getAbsolutePath());
				sql = "load data local inpath " + "'" + fs[i].getAbsolutePath() + "'" + "  overwrite into table "
						+ s17_kf_case_postil + " partition(" + "dt ='" + date + "')";
				System.out.println("sql==="+sql);
				log.info("Running:" + sql);
				stmt.execute(sql);
			}
			
			if (name.contains("KF_CASE_TRANSFER_HIS")) {
				System.out.println("------>"+fs[i].getAbsolutePath());
				sql = "load data local inpath " + "'" + fs[i].getAbsolutePath() + "'" + "  overwrite into table "
						+ s17_kf_case_transfer_his + " partition(" + "dt ='" + date + "')";
				System.out.println("sql==="+sql);
				log.info("Running:" + sql);
				stmt.execute(sql);
			}
			
			if (name.contains("KF_CUSTOMER_INFO")) {
				System.out.println("------>"+fs[i].getAbsolutePath());
				sql = "load data local inpath " + "'" + fs[i].getAbsolutePath() + "'" + "   overwrite into table "
						+ s17_kf_customer_info + " partition(" + "dt ='" + date + "')";
				System.out.println("sql==="+sql);
				log.info("Running:" + sql);
				stmt.execute(sql);

			}
			
			if (name.contains("KF_MAIN_CASES")) {
				System.out.println("------>"+fs[i].getAbsolutePath());
				sql = "load data local inpath " + "'" + fs[i].getAbsolutePath() + "'" + "   overwrite into table "
						+ s17_kf_main_cases + " partition(" + "dt ='" + date + "')";
				System.out.println("sql==="+sql);
				log.info("Running:" + sql);
				stmt.execute(sql);
			}

			if (fs[i].isDirectory()) {
				try {
					showAllFiles(fs[i]);
				} catch (Exception e) {
				}
			}
			
		}
	}

	public  static Connection getConn(String driverName, String url, String username, String password) {
		Connection conn = null;
		try {
			Class.forName(driverName);
			conn = DriverManager.getConnection(url, username, password);
		} catch (Exception e) {
			e.printStackTrace();
		}
		return conn;
	}

	public  void selectData(Statement stmt, String tableName) throws SQLException {
		sql = "select * from " + tableName;
		System.out.println("Running:" + sql);
		res = stmt.executeQuery(sql);
		System.out.println("执行 select * query 运行结果:");
		while (res.next()) {
			System.out.println(res.getString(1) + "\t" + res.getString(2));
			log.info((res.getString(1) + "\t" + res.getString(2)));
		}
	}

	public static void main(String[] args) throws Exception {
		String driverName = "org.apache.hive.jdbc.HiveDriver";
		String url = "jdbc:hive2://10.201.129.78:10000/default"; //
		String username = "";
		String password = "";
		HiveJdbcCliUtil hiveJdbcCliUtil = new HiveJdbcCliUtil(driverName, url, username, password);
		hiveJdbcCliUtil.init();
		//selectData(stmt, "test_hive");
		String filepath = "E:\\ftp\\kefu2\\";
		File dir = new File(filepath);
		try {
			hiveJdbcCliUtil.showAllFiles(dir);
		} catch (Exception e) {
			e.printStackTrace();
		}

	}

	public String getDriverName() {
		return driverName;
	}

	public void setDriverName(String driverName) {
		this.driverName = driverName;
	}

	public String getUrl() {
		return url;
	}

	public void setUrl(String url) {
		this.url = url;
	}

	public String getUsername() {
		return username;
	}

	public void setUsername(String username) {
		this.username = username;
	}

	public String getPassword() {
		return password;
	}

	public void setPassword(String password) {
		this.password = password;
	}

}




public class HiveJdbcCli {  
  
    private static String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver";  
    private static String url = "jdbc:hive://hadoop3:10000/default";  
    private static String user = "hive";  
    private static String password = "mysql";  
    private static String sql = "";  
    private static ResultSet res;  
    private static final Logger log = Logger.getLogger(HiveJdbcCli.class);  
  
    public static void main(String[] args) {  
        Connection conn = null;  
        Statement stmt = null;  
        try {  
            conn = getConn();  
            stmt = conn.createStatement();  
  
            // 第一步:存在就先删除  
            String tableName = dropTable(stmt);  
  
            // 第二步:不存在就创建  
            createTable(stmt, tableName);  
  
            // 第三步:查看创建的表  
            showTables(stmt, tableName);  
  
            // 执行describe table操作  
            describeTables(stmt, tableName);  
  
            // 执行load data into table操作  
            loadData(stmt, tableName);  
  
            // 执行 select * query 操作  
            selectData(stmt, tableName);  
  
            // 执行 regular hive query 统计操作  
            countData(stmt, tableName);  
  
        } catch (ClassNotFoundException e) {  
            e.printStackTrace();  
            log.error(driverName + " not found!", e);  
            System.exit(1);  
        } catch (SQLException e) {  
            e.printStackTrace();  
            log.error("Connection error!", e);  
            System.exit(1);  
        } finally {  
            try {  
                if (conn != null) {  
                    conn.close();  
                    conn = null;  
                }  
                if (stmt != null) {  
                    stmt.close();  
                    stmt = null;  
                }  
            } catch (SQLException e) {  
                e.printStackTrace();  
            }  
        }  
    }  
  
    private static void countData(Statement stmt, String tableName)  
            throws SQLException {  
        sql = "select count(1) from " + tableName;  
        System.out.println("Running:" + sql);  
        res = stmt.executeQuery(sql);  
        System.out.println("执行“regular hive query”运行结果:");  
        while (res.next()) {  
            System.out.println("count ------>" + res.getString(1));  
        }  
    }  
  
    private static void selectData(Statement stmt, String tableName)  
            throws SQLException {  
        sql = "select * from " + tableName;  
        System.out.println("Running:" + sql);  
        res = stmt.executeQuery(sql);  
        System.out.println("执行 select * query 运行结果:");  
        while (res.next()) {  
            System.out.println(res.getInt(1) + "\t" + res.getString(2));  
        }  
    }  
  
    private static void loadData(Statement stmt, String tableName)  
            throws SQLException {  
        String filepath = "/home/hadoop01/data";  
        sql = "load data local inpath '" + filepath + "' into table "  
                + tableName;  
        System.out.println("Running:" + sql);  
        res = stmt.executeQuery(sql);  
    }  
  
    private static void describeTables(Statement stmt, String tableName)  
            throws SQLException {  
        sql = "describe " + tableName;  
        System.out.println("Running:" + sql);  
        res = stmt.executeQuery(sql);  
        System.out.println("执行 describe table 运行结果:");  
        while (res.next()) {  
            System.out.println(res.getString(1) + "\t" + res.getString(2));  
        }  
    }  
  
    private static void showTables(Statement stmt, String tableName)  
            throws SQLException {  
        sql = "show tables '" + tableName + "'";  
        System.out.println("Running:" + sql);  
        res = stmt.executeQuery(sql);  
        System.out.println("执行 show tables 运行结果:");  
        if (res.next()) {  
            System.out.println(res.getString(1));  
        }  
    }  
  
    private static void createTable(Statement stmt, String tableName)  
            throws SQLException {  
        sql = "create table "  
                + tableName  
                + " (key int, value string)  row format delimited fields terminated by '\t'";  
        stmt.executeQuery(sql);  
    }  
  
    private static String dropTable(Statement stmt) throws SQLException {  
        // 创建的表名  
        String tableName = "testHive";  
        sql = "drop table " + tableName;  
        stmt.executeQuery(sql);  
        return tableName;  
    }  
  
    private static Connection getConn() throws ClassNotFoundException,  
            SQLException {  
        Class.forName(driverName);  
        Connection conn = DriverManager.getConnection(url, user, password);  
        return conn;  
    }  
  
}


大数据的未来
关注
专栏目录
hive配置与wordcount实例
小潘
05-21 652
hive的安装与配置 默认环境中jdk已经正常安装，hadoop集群正常启动 MySQL安装 1.1官网下载mysql-server（yum安装） wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm 若wget不可用，下载安装wget：yum -y install wget 1.2:解压rpm -ivh my...
Hive经典案例之蚂蚁森林（二）
bigdataJ的博客
08-27 1502
需求 2、蚂蚁森林低碳用户排名分析 问题：查询user_low_carbon表中每日流水记录，条件为： 用户在2017年，连续三天（或以上）的天数里， 每天减少碳排放（low_carbon）都超过100g的用户低碳流水。 需要查询返回满足以上条件的user_low_carbon表中的记录流水。 例如用户u_002符合条件的记录如下，因为2017/1/2~2017/1/5连续四天的碳排放量之和都大于等于100g： 分析：首先根据用户和天数进行分组，过滤掉总能量小于100的用户。 接下来就是比较难理解的一点，就
用于hive的实例
10-23
用户Java对于hive的实例操作，帮助更好地加深对hive语句的理解
hive综合
baiyunl的专栏
03-16 219
Hive 是什么 在接触一个新的事物首先要回到的问题是：这是什么？ 这里引用 Hive wiki 上的介绍： Hive is a data warehouse infrastructure built on top of Hadoop. It provides tools to enable easy data ETL, a mechanism to put structures on ...
通过一个具体的实例来学习hive
haibinCastle inner peace
06-08 3521
----资源来自于官网教程 Simple Example Use Cases MovieLens User Ratings First, create a table with tab-delimited text file format: CREATE TABLE u_data ( userid INT, movieid INT, rati
hive的三个基本小案例的实现
一曲无痕奈何
08-13 366
建表的基本语法：create table tablename(col,type) 例一： create table sxtTest( id int, name string, likes array<string>, address map<string,string> ) row format delimited fields terminated by ',' col...
hive影评案例.zip
04-01
标题中的“hive影评案例.zip”表明这是一个关于使用Hive处理电影评论数据的示例。Hive是基于Hadoop的数据仓库工具，它允许用户通过SQL（HQL，Hive SQL）查询分布式存储的大数据集。这个压缩包可能包含了用于分析用户...
《Hive数据仓库案例教程》教学大纲.pdf
04-04
《Hive数据仓库案例教程》教学大纲主要涵盖了Hive在大数据环境中的应用，以及如何通过Hive构建数据仓库。Hive作为一个基于Hadoop的数据仓库工具，它的主要功能是将结构化的数据文件映射为数据库表，并提供SQL-like...
利用Hive进行复杂用户行为大数据分析及优化案例
02-20
利用Hive进行复杂用户行为大数据分析及优化案例（全套视频+课件+代码+讲义+工具软件），具体内容包括： 01_自动批量加载数据到hive 02_Hive表批量加载数据的脚本实现（一） 03_Hive表批量加载数据的脚本实现（二） ...
《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf
06-22
《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf《Hive数据仓库案例教程》教学课件 第...
hive案例资源
08-21
本资源是hive四中的资源准备，希望对大家有用处，文件不大哦
关于hive的一些笔记和例子
03-30
这时一个关于hive的文档类。主要内容包括一些安装以及一些例子
hive（六）案例专用
08-21
hive六中案例所需要的资源，本案例是对sql语句的练习。
hive学习必备经典（百度）
07-24
这个问题太全了，是我们公司花了1个月的人力才整理出来的，同志们学hive你看了我这文档连源码都不用看了，实在是不好意思不分享，同时赚点积分，如果有后悔的我，可以给你退分！！！
Hive 入门级编程全案例详解
11-16
Hive 入门级编程实例详解。涵盖了各类基础函数使用要点以及 Java 编写 Hive 函数等。
Hive 案例
ly13607255628的博客
10-16 864
1、需求描述和数据说明 针对销售数据，完成统计： 按年统计销售额 销售金额在 10W 以上的订单 每年销售额的差值 年度订单金额前10位（年度、订单号、订单金额、排名） 季度订单金额前10位（年度、季度、订单id、订单金额、排名） 求所有交易日中订单金额最高的前10位 每年度销售额最大的交易日 年度最畅销的商品(即每年销售金额最大的商品) 数据如下 2、建表并导入数据 vim createtable.hql -- createtable.hql drop database sale cascad
hive应用实例1
05-07 8079
现在我们在hive上新建一张wordcount的数据表：
Hive SQL经典优化案例(建议收藏)
a934079371的博客
10-12 1025
HiveSQL经典优化案例一：1.1 将要执行的查询(执行了 1个多小时才出结果)：SELECTdtasDATA_DATE,STRATEGY,AB_GROUP,SOURCE, ...
hive经典应用
jarth的专栏
09-24 427
dual的构造 自己构造即可一个函数几个，在随后的select 测试 from dual； 前后两行求时间差 1.Hive row_number() 函数的高级用法 row_num 按照某个字段分区显示第几条数据 select imei,ts,fuel_instant,gps_longitude,gps_latitude,row_number() over (PARTITI
hivesql经典案例
最新发布
08-22
HiveSQL经典案例有很多，以下是其中的几个： 1. 电商数据分析：通过HiveSQL可以对电商平台的大数据进行分析，如用户购买行为、订单统计、商品销售排名等。可以利用Hive的内置函数和高级操作来进行数据清洗、聚合和...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值