hive
iteye_15756
这个作者很懒,什么都没留下…
展开
-
Apache Pig的一些基础概念及用法总结(1)
本文可以让刚接触pig的人对一些基础概念有个初步的了解。 本文大概是互联网上第一篇公开发表的且涵盖大量实际例子的Apache Pig中文教程(由Google搜索可知),文中的大量实例都是作者Darran Zhang(website: codelast.com)在工作、学习中总结的经验或解决的问题,并且添加了较为详尽的说明及注解,此外,作者还在不断地添加本文的内容,希望能帮助一 部分人。Apa...原创 2013-06-04 16:57:59 · 83 阅读 · 0 评论 -
Hive优化
hive.optimize.cp=true:列裁剪hive.optimize.prunner:分区裁剪hive.limit.optimize.enable=true:优化LIMIT n语句hive.limit.row.max.size=1000000:hive.limit.optimize.limit.file=10:最大文件数1. 本地模式(小任务):需要满足以下条件: 1.job的输入...原创 2013-10-09 19:47:42 · 67 阅读 · 0 评论 -
hadoop中mapred.tasktracker.map.tasks.maximum的设置
通过把一部分log已经迁移到Hadoop集群上并由Hive来执行相关的查询hadoop中默认的mapred.tasktracker.map.tasks.maximum设置是2也即:每一个tasktracker同时运行的map任务数为2照此默认设置,查询80天某用户的操作日志,耗时5mins, 45sec经过测试,发现将mapred.tasktracker.map.task...原创 2013-10-21 22:00:04 · 119 阅读 · 0 评论 -
Hive的运行模式即任务的执行环境
1 启动hive 命令行模式: 1:直接输入#/hive/bin/hive的执行程序, 2:或者输入 #hive --service cli2.hive验证启动的方法 1、hive web界面的(端口号9999) 启动方式 #hive --service hwi & 用于通过浏览器来...原创 2014-10-22 14:57:28 · 523 阅读 · 0 评论 -
No Java compiler available
现在要做的就是添加apache ant的编译工具,不安装则会报错 Problem accessing /hwi/. Reason: No Java compiler available安装方法不做介绍了,网上很多。安装完后需要设置path:设置ANT_LIB路径 export ANT_LIB=/usr/lib/apache-ant-1...原创 2014-10-22 15:34:17 · 356 阅读 · 0 评论