- 博客(8)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 十大Intellij IDEA快捷键
Intellij IDEA中有很多快捷键让人爱不释手，stackoverflow上也有一些有趣的讨论。每个人都有自己的最爱，想排出个理想的榜单还真是困难。以前也整理过Intellij的快捷键，这次就按照我日常开发时的使用频率，简单分类列一下我最喜欢的十大快捷-神-键吧。1 智能提示Intellij首当其冲的当然就是Intelligence智能！基本的代码提示用Ctrl+Space，
2016-09-23 22:42:03
553
转载 hive之窗口函数理解与实践
首先，我们要知道什么是窗口子句：需要指定一个窗口的边界，语法是这样的：ROWS betweenCURRENT ROW | UNBOUNDED PRECEDING | [num] PRECEDING AND UNBOUNDED FOLLOWING | [num] FOLLOWING| CURRENT ROW或RANGE between [num] PRECE
2016-09-16 18:22:39
857
原创 Hive函数
Hive函数分为简单函数、窗口函数、分析混合函数、自定义函数（UDF/UDAF）等查看Hive中函数基本命令show functions ----列出所有函数desc function count ----查看count函数的用法desc function extended count ---查看详细用法，并且会举出一个简单例子简单函数1.if函数hive
2016-09-16 18:17:37
2379
转载 Hive压缩格式
TextFileHive数据表的默认格式，存储方式：行存储。可使用Gzip,Bzip2等压缩算法压缩,压缩后的文件不支持split但在反序列化过程中，必须逐个字符判断是不是分隔符和行结束符，因此反序列化开销会比SequenceFile高几十倍。--创建数据表：create table if not exists textfile_table(site string,url
2016-09-10 22:08:53
2021
原创 Hive永久函数
在使用UDF的时候我们往往需要首先添加jar包，其次创建临时函数，最后才可以传入参数使用，如下：add jar /root/hive-0.0.1-SNAPSHOT.jar;create temporary function get_value as 'com.test.udf.TokenValue';select get_value(url,"name") from testudf where u
2016-09-10 17:06:15
3359
原创 Hive动态分区
insert overwrite table_part1 partition(dt="2016-09-03")select * from test_data test_data |id|name| |1|ming| |2|li| |3|he|上面代码是往表的某一个固定分区插入数据 但是当我们要插入的分区不确定的时候，该怎么做？ 这时候就会用到动态分区。 insert overwrit
2016-09-04 22:25:28
1243
原创 RCFile和ORCFile
1. RCFileRCFile文件格式是FaceBook开源的一种Hive的文件存储格式，首先将表分为几个行组，对每个行组内的数据进行按列存储，每一列的数据都是分开存储，正是先水平划分，再垂直划分的理念。在存储结构上： 如上图是HDFS内RCFile的存储结构，我们可以看到，首先对表进行行划分，分成多个行组。一个行组主要包括：16字节的HDFS同步块信息，主要是为了区分一个HDFS块上的相邻行组；
2016-09-04 20:54:43
21493
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人