harvey的博客

前言：       hive中提供了很多的的统计分析函数，实际中经常用来进行统计分析，如下笔者整理了常用的一些分析函数，并附以相关实例.博客参考连接：http://lxw1234.com/archives/2015/07/367.htm1.基础函数window 子句 rows betweenpreceding：往前...

beeline 方式连接hive$ beeline -u jdbc:hive2://localhost:10000/test_db -n harvey -p数据准备customers 表0: jdbc:hive2://localhost:10000/test_db> create table if not exists `customers`(. . . . . . . . ...

1. select 语法Hive 中的 SELECT 基础语法和标准SQL语法基本一致，支持 WHERE、DISTINCT、GROUP BY、ORDER BY、HAVING、LIMIT、子查询等。语法如下：[WITH CommonTableExpression (, CommonTableExpression)*] (Note: Only available starting with ...

1.内置函数使用如下命令查看当前hive版本支持的所有内置函数show functions;部分截图：可以使用如下命令查看某个函数的使用方法及作用，比如查看 upper函数desc function upper;如果想要查看更为详细的信息加上extended参数desc function extended upper;内置函数使用员工表emp，数据如下lower()：转换为小写查询emp表中员工

笔者将自己编写的UDF函数集成到Hive编译过程中遇到了如下几个问题，如果你在编译过程中也遇到了类似的问题，可以参考下面的解决方法。Hive 通过Maven来编译，命令如下$ mvn clean package -Phadoop-2,dist -DskipTests问题一异常信息：Failed to execute goal org.apache.maven.plugins:maven-co

Java 想要访问Hive，需要通过beeline的方式连接Hive，hiveserver2提供了一个新的命令行工具beeline，hiveserver2 对 之前的hive做了升级，功能更加强大，它增加了权限控制，要使用beeline需要先启动hiverserver2，再使用beeline连接1.beeline 的 使用启动hiverserver2$ hiveserver2使用beeline连接h

1.压缩在Hadoop中的应用1.压缩概述      为什么使用压缩？文件压缩主要有两个好处：一是减少了存储文件所占空间，二是提高了数据的传输速度，在大数据环境下，这两点显的尤为重要。压缩主要应用在输入文件（Map的输入）、输出文件（Reduce的输出）及中间输出（只有Map，没有Reduce，Map的输出）。      常用的压缩技术有两种，一种是无损压缩（Lossless compression

一、Hive 概述及体系架构1.Hive 是什么(1).由Facebook开源，最初用于解决海量结构化的日志数据统计问题 (2).是一个构建在Hadoop之上的数据仓库 (3).Hive定义了一种类似于SQL查询语言：HQL（非常类似于MySQL中的SQL语句，同时做了扩展） (4).通常用于离线数据处理（采用MapReduce） (5).可以认为是一个HQL=>MapReduce的语言翻译

一、Hive 数据模型及数据类型1.Hive 数据抽象hive 中主要包含以下几种数据模型：Database（数据库）、Table（表）、Partition（分区）、Bucket（桶）Database（数据库） Hive中的数据库包含一系列的数据库，每个数据库都对应于HDFS上的一个目录，默认的数据库为default，对应于HDFS目录是/user/hadoop/hive/warehouse，可以