然然然星人的博客

参考网址：https://cwiki.apache.org/confluence/display/Hive/HiveClient#HiveClient-JDBC其实根据官网的wiki即可实现，连代码都不用自己敲，但是有几个地方需要注意的。package com.hihi.hive;import java.sql.SQLException;import java.sql.Connection;...

系统：centOS6.5 x86_64hive版本：apache-hive-1.1.0-cdh5.7.0JDK版本：1.71、下载cdh版本的hivehttp://archive.cloudera.com/cdh5/cdh/5/2、解压、配置环境变量tar -zxvf apache-hive-1.1.0-cdh5.7.0-bin.tar.gzvi /etc/profileexport HIVE_H...

1、使用一张表，记录文件数据，文件的一行就是表里一个字段的数据，所以使用换行符作为分隔符，并以文件名为分区drop table file_data;create table file_data(context string) partitioned by (file_name string)row format delimited fields terminated by '\n'stored a...

参考资料：https://cwiki.apache.org/confluence/display/Hive/Home#Home-UserDocumentationhive版本：hive1.1.0主要通过参考官网wiki，顺便做做笔记。具体的参数功能建议直接参考官网。创建一个数据库的语法("[]"为可选参数)：CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] data...

1、静态分区CREATE TABLE emp_dept_partition(empno int,ename string,job string,mgr int,hiredate string,sal double,comm double) PARTITIONED BY (deptno int)ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t" ;备注：静态...

该EXPORT命令将表或分区的数据连同元数据一起导出到指定的输出位置。然后可以将此输出位置移至不同的Hadoop或Hive实例，并使用该IMPORT命令从那里导入。导出分区表时，原始数据可能位于不同的HDFS位置。还支持导出/导入分区子集的功能。导出的元数据存储在目标目录中，数据文件存储在子目录中。EXPORT和IMPORT命令中使用的源和目标metastore DBMS的独立工作; 例如，它们可...

1、定义自己的UDF函数package com.hihi.hive;import org.apache.hadoop.hive.ql.exec.UDF;import org.apache.hadoop.io.Text;public class HelloWord extends UDF { public Text evaluate(final Text s) { ...

准备：先下载对应版本的源码，并源码编译一次。1、找出对应的java文件，并对其修改[root@hadoop001 hive-1.1.0-cdh5.7.0]# find . -name FunctionRegistry.java./ql/src/java/org/apache/hadoop/hive/ql/exec/FunctionRegistry.java2、修改FunctionRegistry...

1、选择一张分区表（本次取的是内部表），把分区数据取到本地。[root@hadoop001 hiveData]# hadoop fs -get /user/hive/warehouse/emp_dept_partition/deptno=30/000000_0 emp_dept_partition-deptno30[root@hadoop001 hiveData]# lsdept emp_d...

1、准备测试数据、在hive上创建表page_views，并将测试将数据导入create table page_views(track_time string,url string,session_id string,referer string,ip string,end_user_id string,city_id string)ROW FORMAT DELIMITED FIE...