Hive
Nekou_
1.2.3.4
展开
-
Hive简单概述及hive-1.1.0-cdh5.7.0安装部署
软件版本jdk8u45hadoop-2.6.0-cdh5.7.0.tar.gzhive-1.1.0-cdh5.7.0.tar.gzmysql-connector-java-5.1.46-bin.jarHive概述Hive由Facebook开源,起初是为了解决海量结构化日志的统计。是基于Hadoop之上的数据仓库(data warehouse)Hive 是一个使用SQL来操作分布...原创 2019-01-30 23:37:53 · 1670 阅读 · 2 评论 -
Hive中的存储
存储格式默认textfile的使用:hive>create table t1(id int, name string) stored as textfile;hive>create table t1(id int, name string);默认存储的时候,使用的格式是textfile,上述两句语句的效果一样。hive>desc formatted t1; 默...原创 2019-03-25 21:10:54 · 669 阅读 · 0 评论 -
大数据中的压缩
为什么要使用压缩随着数据量越来越大,对数据如何处理使得我们提高数据处理效率,如何选择和使用压缩就显得尤为重要。压缩的优点:1)减少文件大小(reduce file size)2)节省磁盘空间(svae disk space)3)增加网络传输速度及效率(Increase tansfer speed at a given data rate)压缩技术压缩分为无损压缩(Lossless ...原创 2019-03-11 13:26:43 · 1007 阅读 · 0 评论 -
Hive beeline方式连接Could not open connection to the HS2 server。
首先,这其实是一个悲伤的故事。中午装了一个三台测试机,一顿操作猛如喵之后,终于轮到hive的安装配置了。在淡定的解压完,配置文件都配置完,启动了hiveserver2之后,就在我颤抖的小手在键盘上输入bin/beelinebeeline> !connect jdbc:hive2://node03.hadoop.com:10000哦豁Could not open connecti...原创 2019-06-26 18:42:17 · 19499 阅读 · 17 评论 -
解决hive以及impala执行权限不足的问题
在我们hive当中执行任意的查询,只要是需要跑MR的程序,就会报错,发现权限不够的异常INFO : Compiling command(queryId=root_20180625191616_d02efd23-2322-4f3d-9cb3-fc3a06ff4ce0): select count(1) from mystuINFO : Semantic Analysis Completed...原创 2019-07-10 13:02:42 · 2428 阅读 · 0 评论