- 博客(5)
- 资源 (19)
- 收藏
- 关注
转载 hive 高级数据类型使用之array(含横表转纵表)
hive 高级数据类型使用用了许久的hive,但是一直都是简单的sql join,sort, order by等,今天有一个业务场景需要使用array数据类型存储数据并进行横表转纵表的转换。mark下以后用了可以查询。 数据样子是这样的。IDtype_flagtags10001311_20_30,11_22_34,12_23_30,13_24_3610002211_20,11_22,12_23,1...
2018-06-28 16:05:42 1970
转载 Hive表的分区与分桶
1.Hive分区表Hive使用select语句进行查询的时候一般会扫描整个表内容,会消耗很多时间做没必要的工作。Hive可以在创建表的时候指定分区空间,这样在做查询的时候就可以很好的提高查询的效率。创建分区表的语法:create table tablename( name string)partitioned by(key,type...);示例drop table if exists...
2018-06-27 16:52:26 787
转载 Hbase热点
Hbase的表会被划分为1....n个Region,被托管在RegionServer中。Region二个重要的属性:Startkey与EndKey表示这个Region维护的rowkey的范围,当我们要读写数据时,如果rowkey落在某个start-end key范围内,那么就会定位到目标region并且读写到相关的数据。 默认情况下,当我们通过hbaseAdmin指定TableDescrip...
2018-06-15 11:43:24 211
转载 自定义HiveServer2的用户安全认证
HiveServer2提供了JDBC链接操作Hive的功能,非常实用,但如果在使用HiveServer2时候,不注意安全控制,将非常危险,因为任何人都可以作为超级用户来操作Hive及HDFS数据。比如:在配置HiveServer2的时候,hive.server2.authentication=NONE,表示没有用户认证。使用beeline,模拟成超级用户hadoop,成功连接到HiveServer...
2018-06-12 13:43:38 741
hadoop2.8.1 eclipse 插件
2018-05-23
hadoop2.8.1 native for mac
2018-05-23
百度卫士是百度公司全新出品的简单可信赖的系统工具软件
2014-03-13
Spring CommonsMultipartResolver 上传文件
2013-04-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人