![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
文章平均质量分 54
keep_moving_
这个作者很懒,什么都没留下…
展开
-
hive 建表(Location, serde)
1) Location 关键字的使用 hadoop fs -put /usr/local/ae/1.txt /usr/ create table test_location(id int, name string) row format delimited fields terminated by '\t' stored as textfile location '/usr/'; //原创 2014-07-15 12:40:19 · 4427 阅读 · 0 评论 -
hive hiveserver2
1) 基于Thrift RPC,是HiveServer的改进版,支持多线程以及认证原创 2014-07-10 09:55:25 · 789 阅读 · 0 评论 -
hive join select demo
1) create table test_partition(id int,desc string) partitioned by (dt string, country string) row format delimited fields terminated by '\t' stored as textfile;原创 2014-07-09 13:14:51 · 547 阅读 · 0 评论 -
hive (map和reduce 个数的设定 )
一、 控制hive任务中的map数: 1. 通常情况下,作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有: input的文件总个数,input的文件大小,集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到,该参数不能自定义修改); 2. 举例: a) 假设input目录下有转载 2014-07-28 17:28:14 · 521 阅读 · 0 评论 -
hive (union & subquery)
1) UNION ALL select之间的columns必须相同,否则会报错;原创 2014-07-09 15:37:21 · 715 阅读 · 0 评论 -
hive 与 hbase 整合
1) 创建hive表,同时会杂原创 2014-07-10 15:04:56 · 424 阅读 · 0 评论 -
hive Guide
1) component a. serde serialize, deserial原创 2014-07-10 10:31:55 · 541 阅读 · 0 评论 -
hive 配置
1) hive-env.xml HIVE_CONF_DIR: 指定hiv原创 2014-07-08 09:39:17 · 517 阅读 · 0 评论 -
hive (各种 by)
order by order by 会对输入做全局排序,因此只有一个reducer(多个reducer无法保证全局有序) 只有一个reducer,会导致当输入规模较大时,需要较长的计算时间。 Sql代码 set hive.mapred.mode=nonstrict; (default value / 默认值) set hive.mapred.mode=st转载 2014-07-28 13:47:14 · 483 阅读 · 0 评论 -
hive (本地模式)
1) 开启本地模式 hive>set hive.exec.mode.local.auto=true; 退出原创 2014-07-26 16:44:21 · 462 阅读 · 0 评论 -
udf (MapObjectInspector的使用)
public class DimensionConvertor extends GenericUDF { MapObjectInspector valueIO; StringObjectInspector typeIO; @Override public Object evaluate(DeferredObject[] arguments) throws HiveException原创 2014-07-24 21:37:26 · 1721 阅读 · 0 评论 -
hive 命令
1) 查看配置项 set javax.jdo.option.ConnectionURL; 2) 新建表: create table logs(ts bigint, line string) partitioned by (dt string, country string) row format delimited fields terminated by '\t'原创 2014-07-08 08:54:36 · 423 阅读 · 0 评论 -
hive (expalin 解析)
hive> explain insert overwrite TABLE lpx SELECT t1.bar, t1.foo, t2.foo FROM pokes t1 JOIN invites t2 ON (t1.bar = t2.bar) ; OK ABSTRACT SYNTAX TREE: (TOK_QUERY (TOK_FROM (TOK_JOIN (TOK_TABREF (TO转载 2014-07-29 10:27:40 · 589 阅读 · 0 评论