1.字符集
Hadoop和Hive都是用UTF-8编码的,所以, 所有中文必须是UTF-8编码, 才能正常使用。
备注:中文数据load到表里面, 如果字符集不同,很有可能全是乱码需要做转码的, 但是hive本身没有函数来做这个hive.exec.compress.output 这个参数, 默认是 false,但是很多时候貌似要单独显式设置一遍否则会对结果做压缩的,如果你的这个文件后面还要在hadoop下直接操作, 那么就不能压缩了。
3.count(distinct)
当前的 Hive 不支持在一条查询语句中有多 Distinct。如果要在 Hive 查询语句中实现多Distinct,需要使用至少 n+1 条查询语句(n为distinct的数目),前 n 条查询分 别对 n 个列去重,最后一条查询语句对 n 个去重之后的列做 Join 操作,得到最终结果。
4.JOIN
Hive 只支持等值连接(equality joins)、外连接(outer joins)和(left/right joins);Hive不支持非等值连接、因为非等值连接非常难传到map/reduce任务。Hive支持多于两个表的连接
注意:
1.将条目少的表或子查询放在Join操作符的左边。在join操作的reduce阶段、位于join操作符左边的表的内容会被加载进内存、将条目少的表放在左边,可以有效减少发生OOM错误的几率(内存溢出)。
2.join的key相同,不管多少表,都合并成一个MR任务;join的key不相同,MR的任务数等于join操作的数;
3.MapJoin,join操作在Map阶段完成,不再需要Reduce任务,前提需要数据在Map端可以访问。
5.怎样决定Reducer的个数
参数1:hive.exec.reducers.bytes.per.reducer =1000^3(默认)
参数2:hive.exec.reducers.max=999(默认)
N=min(参数2,总输入数据量/参数1)。根据经验:参数2设定为0.95*集群中TaskTracker的个数
6.Hive不支持where中的子查询,不支持Having,不支持Update和Delete。