hive
duguyiren3476
这个作者很懒,什么都没留下…
展开
-
hive on tez详细配置和运行测试
hive on tez详细配置和运行测试标签(空格分隔): tez hadoop hive hdfs yarn环境: hadoop-2.5.2 hive-0.14 tez-0.5.3 hive on tez 的方式有两种安装配置方式:在hadoop中配置在hive中配置 比较: 第二种方式:当已经有了稳定的hadoop集群,而不想动这个集群时,可以考虑采用第二种方式配置,第二种方式配置原创 2015-06-03 17:50:43 · 11437 阅读 · 2 评论 -
hive 安装运行错误及解决办法
1.hive> show tables;FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Communications link failureLast packet sent to the server was 0 ms ago.NestedThrowables:com.mysql.jdbc.exc...原创 2012-08-15 14:33:35 · 175 阅读 · 0 评论 -
Hive metastore三种存储方式
测试环境下Hive总出问题,metastore的配置有问题。抽了点时间,把Hive的meta数据几种存储方式都配置了下。Hive的meta数据支持以下三种存储方式,其中两种属于本地存储,一种为远端存储。远端存储比较适合生产环境。Hive官方wiki详细介绍了这三种方式,链接为:Hive Metastore。一、使用derby数据库存储元数据。这种方式是最简单的存储方式,只需要在hi...原创 2012-08-15 14:42:07 · 428 阅读 · 0 评论 -
hbase常见错误及解决方法
1. 运行hbase shell 时错误:ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times 解决办法:A:如果rootdir配置的是使用hdfs,检查是否hdfs服务进程没有打开,请启动hadoop。 B:确认hadoop已经启动...原创 2012-08-16 14:59:52 · 1306 阅读 · 0 评论 -
压缩 HDFS 上的文件, 提供使用者下載
(转)今天的進度是研究如何讓使用者透過網路來下載 HDFS 上的檔案,基本上這和壓縮一般的檔案沒什麼兩樣,直接透過 java 內建的 java.util.zip 套件就可以輕易做到了。唯一的差別,在這裡要用 Hadoop API 提供的 FSDatainputStream 來開啟檔案串流,然後逐一寫入到壓縮串流就可以完成檔案壓縮的目的。 而在操作流程的上,使用者會先選...原创 2012-09-06 13:48:13 · 95 阅读 · 0 评论 -
hive 小记
hive 小记 hive hadoop hdfs 测试环境centos6.5 64bithadoop-2.5.2hive-0.14udf引入第三方lib包将第三方的jar统一存放到一个目录中:/usr/local/hivelib/ 并设置变量: export HIVE_AUX_JARS_PATH="/usr/loc...原创 2015-06-02 11:41:02 · 142 阅读 · 0 评论 -
tez ui 安装测试
tez ui 安装测试标签(空格分隔): 未分类环境:hadoop-2.7.1,tez-0.7.0,tomcat 7将编译后的tez-ui.xxx.war文件复制到tomcat的webapps目录中修改tez-ui的war解压后的文件scripts/configs.js文件App.setConfigs({/* Environment configuration...原创 2015-08-04 17:03:07 · 276 阅读 · 0 评论 -
drill1.0配置hive storage plugin及测试
drill1.0配置hive storage plugin及测试drill,hive截止到目前本博客发布前,apache drill最新发布版本是1.0.0,对与此版本的数据源支持和文件格式的支持:avroparquethivehbasecsv tsv psvFile system 对于目前我的需求:snappy+sequencefile 的hdfs存储...原创 2015-08-06 10:18:31 · 393 阅读 · 0 评论