hive小结

1)hive加载数据

hive加载本地数据和和hdfs数据区别
加载外部表可以为本地文件，加载内部表，要把数据加载到hdfs上
2）hive中索引
索引
deferred 延期的
compact 紧压的
3）hive中数据格式
hive可以自定义文件格式。textfile，sequencefile
数据格式：
avro file orc file
ORC File,它的全名是Optimized Row Columnar（柱行的 (ORC) file,其实就是对RCFile做了一些优化。据官方文档介绍,这种文件格式可以提供一种高效的方法来存储Hive数据。
4）hive查看编译的sql语句
hiveql与sql区别
explain select * from tb1 where num = 333
5）hive中求分组topk
hive 中求分组中的topk
select calling_nbr, called_nbr,count,
ROW_NUMBER() over (PARITITION by calling_b=nbr order by count desc) rn from test where rm < 100;
其中PARTITION BY calling_nbr 可选，若加上则表示窗口统计，
否则则是全局统计。
6） udf udaf udtf
udf
collection function size(Map K,V
type conversion funcions cast(‘1’ as BIGINT)
Data function year(string date)year(“1970-01-01 00:00:00”) = 1970, year(“1970-01-01”) = 1970.
String function trim(string A) trim(’ foobar ‘) results in ‘foobar’
aggregate function(udaf)
count(*) ,sum(col),avg(col)
table -generating function (udtf)
将一个输入行，转换成多行
7）hive中事务
ACID代表数据库事务中的四个特性，
原子性，任何一个数据库操作要么被完整执行，要么完全不被执行、
一致性，一旦应用程序执行了一个操作，操作的结果对于每一个之后的造作都是课件的
隔离性，一个用户的操作不会对其他用户用户产生意料之外的副作用。
持久性，一旦一个操作被完成、这些操作也将被记录下来即时机器或系统
出现故障，也要保证这些记录的完整性。
从hive0.14开始，insert update delete支持
需要配置hive-site.xml
添加hive元数据，初始化三张表

8）hive中确定map数目与reduce数目
hive中设置map数目和reduce数目，
1、map数目，通过设置一个map任务执行文件的大小；直接设置map任务数；对文件大，和任务逻辑复杂的任务，可以增加map数，提高执行效率。
2、reduce数目，hive.exec.reducers.bytes.per.reducer（每个reduce任务处理的数据量，默认为1000^3=1G）
hive.exec.reducers.max（每个任务最大的reduce数，默认为999）
计算reducer数的公式很简单N=min(参数2，总输入数据量/参数1)