hive操作-CSDN博客

本文链接：https://blog.csdn.net/dmbds20/article/details/83902840

1.视图
①概念

视图里存放的是一组SQL语句，通过执行这组SQL语句可以得到相应的结果。视图并不是直接存放结果，而是存放
了SQL语句，当用到时，就会执行。是一个懒加载的。

②特点

   不支持物化视图
   只能查询，不能做加载数据操作  load data into
   视图的创建，只是保存一份元数据，查询视图时才执行对应的子查询
   视图定义中若包含了ORDER BY/LIMIT语句，当查询视图时也进行ORDER BY/LIMIT语句操作，视图当中定义的优先级更高
   视图支持迭代视图
   一旦创建成功，无法修改

③创建视图

   CREATE VIEW  IF NOT EXISTS  view1 AS SELECT * FROM logtbl order by age;
   创建视图的时候不会启动MR任务，但是在查询视图的时候会启动MR任务
   show tables    可以查看已经创建的视图
   drop view view1  删除视图

2.索引
①原理

这个索引就类似于目录。我们可以把所有的文件加上一个索引，这样在查询的时候就可以先根据索引确定查找的
数据在哪一个分区，然后只遍历这一局部的数据就可以得到最终的结果。提高了查询的效率。

②创建

创建索引之前，需要先创建一个索引库，用于存放索引。
create index t2_index on table psnbucket_partition(age)  //表示对psnbucket_partition表的age字段创建索引
as 'org.apache.hadoop.hive.ql.index.compact.CompactIndexHandler' with deferred rebuild //用到了一个提供给我们的一个创建索引的类
in table t2_index_table; //创建的索引放到这个表中
索引库只是保存一些元数据，比如 对哪个字段创建索引，对哪个表创建索引等。
创建索引
alter index t2_index on psnbucket_partition rebuild; //真正的创建索引信息并且存储到索引库中，
若数据库有新增数据，也可以使用以上语句重建索引。

③查询索引

show index on psnbucket_partition;

④删除索引

drop index t2_index on psnbucket_partition; 
删除索引的同时  索引库也会被删除

3.数据读取规则

如果想把一些不规整的数据存入到hive表中，如tomcat的运行日志。需要用到正则表达式。读取数据的时候
按照正则表达式将其切割，并赋给对应的表中的字段。
例如：要将以下的数据存入hive表中
192.168.57.4 - - [29/Feb/2016:18:14:35 +0800] "GET /bg-upper.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:35 +0800] "GET /bg-nav.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:35 +0800] "GET /asf-logo.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:35 +0800] "GET /bg-button.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:35 +0800] "GET /bg-middle.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET / HTTP/1.1" 200 11217
创建的表的语句为
CREATE TABLE logtbl (
    host STRING,
    identity STRING,
    t_user STRING,
    time STRING,
    request STRING,
    referer STRING,
    agent STRING)
  ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'
  WITH SERDEPROPERTIES (
    "input.regex" = "([^ ]*) ([^ ]*) ([^ ]*) \\[(.*)\\] \"(.*)\" (-|[0-9]*) (-|[0-9]*)"
  )
  STORED AS TEXTFILE;
  在往表中插入数据的时候，并不会检查。只是在读的时候根据正则表达式来读，如果读不懂，说明这条数据
  就是脏数据。所以结论就是读时检查，不是写时检查。

4.连接hive工具的方式
①beeline

之前使用hive就是通过hive脚本，这种方式不够安全。所以就有了beeline,类似于jdbc。beeline需要先与
hive提供的thriftserver服务连接(使用hiveserver2命令启动这个服务)，thriftserver服务里配置了用户名和密码，只有输入正确的用户名和
密码才能连接上这个服务。
beeline默认方式是不需要密码的，所以我们要通过配置信息来设置用户名和密码。在hive-site.xml文件
中增加
	<property>
                <name>hive.server2.authentication</name>
                <value>CUSTOM</value>
        </property>
        <property>
                <name>hive.jdbc_passwd.auth.zhangsan</name>  //用户名
                <value>123456789</value> // 密码
        </property>
        <property>
                <name>hive.server2.custom.authentication.class</name>
                <value>com.hoe.hive.authoriz.UserPasswdAuth</value> //我们自己写的类，用于验证用户名和密码是否正确
        </property>
将写好的类打成一个jar包，放到hive的lib目录下。
第一种链接方式：./beeline -u jdbc:hive2://node01:10000/test -n zhangsan -p123456789
第二种链接方式：
./beeline
!connect jdbc:hive2://node01:10000/test
输入用户名
输入密码

自己写的类的代码

public class UserPasswdAuth implements PasswdAuthenticationProvider {
	Logger logger = LoggerFactory.getLogger(UserPasswdAuth.class);

	private static final String USER_PASSWD_AUTH_PREFIX = "hive.jdbc_passwd.auth.%s";

	private Configuration conf = null;

	@Override
	public void Authenticate(String userName, String passwd) throws AuthenticationException {
		logger.info("user: " + userName + " try login.");
		String passwdConf = getConf().get(String.format(USER_PASSWD_AUTH_PREFIX, userName));
		if (passwdConf == null) {
			String message = "没有发现密码 " + userName;
			logger.info(message);
			throw new AuthenticationException(message);
		}
		if (!passwd.equals(passwdConf)) {
			String message = "用户名密码不匹配 " + userName;
			throw new AuthenticationException(message);
		}
	}

	public Configuration getConf() {
		if (conf == null) {
			this.conf = new Configuration(new HiveConf());
		}
		return conf;
	}

	public void setConf(Configuration conf) {
		this.conf = conf;
	}
}

②JDBC
JDBC也是通过thriftserver服务连接hive工具的，配置信息和beeline的一样。

public class ConnectHive {

	public static String driverName = "org.apache.hive.jdbc.HiveDriver";

	public static void main(String[] args) {

		try {
			Class.forName(driverName);
		} catch (ClassNotFoundException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}

		String url = "jdbc:hive2://node01:10000"; //node01代表的是IP
		String userName = "zhangsan";
		String passwd = "123456789";
		Connection conn = null;
		try {
			conn = DriverManager.getConnection(url, userName, passwd);
			Statement statement = conn.createStatement();
			String sql = "select * from test.logtbl limit 10";
			ResultSet resultSet = statement.executeQuery(sql);
			while (resultSet.next()) {
				System.out.println(resultSet.getString(1) + "-" + resultSet.getString(2));
			}
		} catch (SQLException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}

	}
}