cts529269539的专栏

转载 hive 高级数据类型使用之array（含横表转纵表）

hive 高级数据类型使用用了许久的hive，但是一直都是简单的sql join，sort， order by等，今天有一个业务场景需要使用array数据类型存储数据并进行横表转纵表的转换。mark下以后用了可以查询。 数据样子是这样的。IDtype_flagtags10001311_20_30,11_22_34,12_23_30,13_24_3610002211_20,11_22,12_23,1...

转载 Hive表的分区与分桶

1.Hive分区表Hive使用select语句进行查询的时候一般会扫描整个表内容，会消耗很多时间做没必要的工作。Hive可以在创建表的时候指定分区空间，这样在做查询的时候就可以很好的提高查询的效率。创建分区表的语法：create table tablename( name string)partitioned by(key,type...);示例drop table if exists...

转载 hive与hbase整合过程

转载 Hbase热点

Hbase的表会被划分为1....n个Region,被托管在RegionServer中。Region二个重要的属性：Startkey与EndKey表示这个Region维护的rowkey的范围，当我们要读写数据时，如果rowkey落在某个start-end key范围内，那么就会定位到目标region并且读写到相关的数据。    默认情况下，当我们通过hbaseAdmin指定TableDescrip...

转载 自定义HiveServer2的用户安全认证

HiveServer2提供了JDBC链接操作Hive的功能，非常实用，但如果在使用HiveServer2时候，不注意安全控制，将非常危险，因为任何人都可以作为超级用户来操作Hive及HDFS数据。比如：在配置HiveServer2的时候，hive.server2.authentication=NONE，表示没有用户认证。使用beeline，模拟成超级用户hadoop，成功连接到HiveServer...