大数据
菜鸟快飞
这个作者很懒,什么都没留下…
展开
-
mac下hadoop环境的搭建
提示:这里有Exit code: 127 Stack trace: ExitCodeException exitCode=127: 错误的解决的方法,在文章最后面一、首先要配置好java环境 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html mac电脑直接jdk-8u14...转载 2018-05-23 14:36:28 · 365 阅读 · 0 评论 -
hadoop eclipse plugin 编译安装,问题总结
插件名称:hadoop2x-eclipse-plugin插件地址:https://github.com/winghc/hadoop2x-eclipse-plugin 1.下载并解压hadoop2.x,下载地址http://hadoop.apache.org/releases.html#Download(我下载的是编译好的包) 2.下载并解压eclipse(我的是4.4.1版本,其他的版本类似) ...转载 2018-05-23 15:26:32 · 1172 阅读 · 0 评论 -
自定义HiveServer2的用户安全认证
HiveServer2提供了JDBC链接操作Hive的功能,非常实用,但如果在使用HiveServer2时候,不注意安全控制,将非常危险,因为任何人都可以作为超级用户来操作Hive及HDFS数据。比如:在配置HiveServer2的时候,hive.server2.authentication=NONE,表示没有用户认证。使用beeline,模拟成超级用户hadoop,成功连接到HiveServer...转载 2018-06-12 13:43:38 · 743 阅读 · 0 评论 -
Hbase热点
Hbase的表会被划分为1....n个Region,被托管在RegionServer中。Region二个重要的属性:Startkey与EndKey表示这个Region维护的rowkey的范围,当我们要读写数据时,如果rowkey落在某个start-end key范围内,那么就会定位到目标region并且读写到相关的数据。 默认情况下,当我们通过hbaseAdmin指定TableDescrip...转载 2018-06-15 11:43:24 · 213 阅读 · 0 评论 -
hive与hbase整合过程
转载 2018-06-20 15:45:38 · 175 阅读 · 0 评论 -
hive 高级数据类型使用之array(含横表转纵表)
hive 高级数据类型使用用了许久的hive,但是一直都是简单的sql join,sort, order by等,今天有一个业务场景需要使用array数据类型存储数据并进行横表转纵表的转换。mark下以后用了可以查询。 数据样子是这样的。IDtype_flagtags10001311_20_30,11_22_34,12_23_30,13_24_3610002211_20,11_22,12_23,1...转载 2018-06-28 16:05:42 · 1975 阅读 · 0 评论