- 博客(16)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 hive转比较特殊的日期格式
日期类型为：Sun Mar 9 21:16:18 2014 星期几 月份 天from_unixtime(unix_timestamp('Sun Mar 9 21:16:18 2014','EEE MMM dd HH:mm:Ss z yyyy'),'yyyy-MM-dd HH:mm:Ss')EEE代表星期几MMM代表月的英文名称
2014-03-26 17:10:59
5263
2
转载 hive优化方式和使用技巧
转载：http://blog.csdn.net/z_l_l_m/article/details/8773505#t4谢谢分享，非常实用.部分内容出处：http://www.atatech.org/article/detail/5617/0http://www.atatech.org/article/detail/4392/515 一．UDFS函数介绍1. 基本UDF
2014-03-14 18:13:03
1395
转载 MapReduce Counter监控窗口各个参数的含义
转载：http://langyu.iteye.com/blog/1171091非常感谢分享! MapReduce Counter为提供我们一个窗口：观察MapReduce job运行期的各种细节数据。今年三月份期间，我曾经专注于MapReduce性能调优工作，是否优化的绝大多评估都是基于这些Counter的数值表现。MapReduce自带了许多默认Counter，可能有些朋友对它们有
2014-03-14 17:56:57
2964
转载 hive到底是什么
转载：http://www.csdn.net/article/2014-01-07/2818052-about-hive谢谢分享！【Hadoop技术博客推荐】Hive的那些事发表于2014-01-07 17:35|2726次阅读| 来源CSDN博客|9 条评论| 作者吴阳平HiveHadoop分布式文件系统摘要：Hive是建立在Hadoop上的数据仓库基础构
2014-03-14 16:14:15
1079
转载 Hive0.11.0的新特性
转载：http://blog.csdn.net/wypblog/article/details/14167035谢谢分享！1、新增”Explain dependency”语法，以json格式输出执行语句会读取的input table和input partition信息，这样debug语句会读取哪些表就很方便了1234
2014-03-14 14:54:57
840
原创 hive新加入字段插入数据需要注意事项
hive中新加字段需要注意如下1）如果表中有分区字段，必须先删除分区才能插入数据否则为null;2）insert override TABLE table1 select counm1,counm2 from table2; counm1,counm2的顺序必须与table1中字段的顺序一致否则为null;
2014-03-14 14:20:17
18074
转载 Hive：简单查询不启用Mapreduce job而启用Fetch task
转载：http://blog.csdn.net/wypblog/article/details/17410315谢谢分享。如果你想查询某个表的某一列，Hive默认是会启用MapReduce Job来完成这个任务，如下：010203040506070809101112
2014-03-14 11:24:43
2929
转载 hive估算reduce
转载：http://blog.csdn.net/joe_007/article/details/8987419谢谢分享。hive估算reduce的逻辑如下：（1） 判断Job是否需要reduce操作，如不需要reduce操作，reduce数设置为0，跳出；如需要reduce操作，执行步骤（2）；（2） 判断Job是否在编译时确定reduce数为1
2014-03-13 15:37:15
778
转载 hive merge小文件
当Hive输入由很多个小文件组成，由于每个小文件都会启动一个map任务，如果文件过小，以至于map任务启动和初始化的时间大于逻辑处理的时间，会造成资源浪费，甚至OOM。为此，当我们启动一个任务，发现输入数据量小但任务数量多时，需要注意在Map前端进行输入合并当然，在我们向一个表写数据时，也需要注意输出文件大小1. Map输入合并小文件对应参数：set mapred.max.
2014-03-13 15:25:43
2214
转载 hive修改表模式
转载：http://blog.csdn.net/yfkiss/article/details/7859477学习网址：http://www.360doc.com/content/12/0111/11/7362_178698714.shtmlhive用户可以通过alter语句更改table属性Alter Partitions增加partitions：[pl
2014-03-11 17:41:51
3730
转载 hive mapjoin使用
link:http://blog.csdn.net/xqy1522/article/details/6699740今天遇到一个hive的问题，如下hive sql： select f.a,f.b from A t join B f on ( f.a=t.a and f.ftime=20110802) 该语句中B表有30亿行记录，A表只有100行记录，而且B表中数据倾斜特
2014-03-05 11:26:45
724
转载 PV、UV、IP的区别
转载：http://abc.wm23.com/jxgj/27096.html首先来看看ip、uv和pv的定义----------PV(访问量)： 即Page View, 即页面浏览量或点击量，用户每次刷新即被计算一次。count(host)UV(独立访客)：即Unique Visitor,访问您网站的一台电脑客户端为一个访客。00:00-24:00内相同的客户端只被计算一次.
2014-03-04 09:17:29
1488
转载 hive Lateral View语法
谢谢分享!转载：http://yugouai.iteye.com/blog/1849902个人理解有点类似行转列函数Lateral View语法Sql代码 lateralView: LATERAL VIEW udtf(expression) tableAlias AS columnAlias (',' columnAlias)* from
2014-03-03 19:50:35
5742
转载 Hive开发中使用变量的两种方法
谢谢分享转载：http://www.tuicool.com/articles/u2Yr6z3在使用hive开发数据分析代码时，经常会遇到需要改变运行参数的情况，比如select语句中对日期字段值的设定，可能不同时间想要看不同日期的数据，这就需要能动态改变日期的值。如果开发量较大、参数多的话，使用变量来替代原来的字面值非常有必要，本文总结了几种可以向hive的SQL中传入参数的方
2014-03-03 17:22:16
1440
原创 hive删除分区名带特殊字符
hive sql脚本中带变量如：select table_coulm from table_name where dt='{etl_date}'; --dt是分区名如果变量未赋值，{etl_date}会变成特殊字符dt=$%7Betl_date}删除带特殊字符的分区：alter table tmp_h02_click_log drop partition(dt='${etl_date}')
2014-03-03 16:40:19
8130
1
转载 利用SecureCRT上传、下载文件（使用sz与rz命令），超实用！
利用SecureCRT上传、下载文件（使用sz与rz命令） 借助securtCRT，使用linux命令sz可以很方便的将服务器上的文件下载到本地，使用rz命令则是把本地文件上传到服务器。 其中，对于sz和rz的理解与记忆我用了如下的方法（很多时候容易搞混）： sz中的s意为send（发送），告诉客户端，我（服务器）要发送文件 send to c
2014-03-03 15:09:10
1272
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人