HIVE测试用的记录语句

 create table testhello(name string,val string) ROW FORMAT DELIMITED  FIELDS TERMINATED BY '\t' ;
 
 
create EXTERNAL table IF NOT EXISTS   hivelog5 (val1 STRING)  partitioned by (ptdate string)   ROW FORMAT DELIMITED  FIELDS TERMINATED BY '\t' STORED AS TEXTFILE LOCATION '/data1/testdata/hive/warehouse/';
  ALTER TABLE   hivelog5  ADD PARTITION (ptdate='20140709') location '/data1/testdata/hive/warehouse/ptdate=20140709/hello.log' ; 
  
  load data local inpath '/home/hadoop/hello.log' overwrite into table  hivelog5  PARTITION(ptdate='20140708')  ;
  
  create table   testtable  (title string COMMENT '备注123') ;
  
  alter table test add partition (ptDate='20121214') location '/data1/testdata/hive/warehouse/20121214';
  
   alter table nlog add partition (ptDate='20120710') location '/data1/testdata/hive/warehouse/ptDate=20120710';
    create table   testhello  (name string ) ;
   create temporary function helloworld as 'com.xxx.hive.udf.HelloUDF';
  
   select helloworld(t.name) from testhello limit 10;
   
   drop temporary function helloworld;
   
 create table udftest(col1 string ,col2 string ,splitstr string,num int ,arrayobjlist array<INT>) ROW FORMAT DELIMITED 
  FIELDS TERMINATED BY '\t' COLLECTION ITEMS TERMINATED BY ':' location '/data1/testdata/hive/udftest' ;
   
 load data local inpath '/home/hadoop/udftest.log' overwrite into table  udftest ;
 
hive>add jar file:///home/hadoop/HelloUDF.jar     
 
hive>create temporary function hello_fun as 'com.xxx.hive.udf.HelloUDF';
hive>select hello_fun(t.col1) from udftest t;
运算结果:
Total MapReduce CPU Time Spent: 1 seconds 470 msec
OK
HelloWorld 123123
HelloWorld 2222
Time taken: 19.979 seconds, Fetched: 2 row(s)




hive>create temporary function avgudaf_fun as 'com.xxx.hive.udf.AvgUDAF';
hive>select avgudaf_fun(t.num) from udftest t;
运算结果: 
Total MapReduce CPU Time Spent: 33 seconds 160 msec
OK
33.0
Time taken: 137.122 seconds, Fetched: 1 row(s)


hive>create temporary function explodeudtf_fun as 'com.xxx.hive.udf.ExplodeUDTF';
hive> select explodeudtf_fun(t.col1) from udftest t;
没测试


 
hive>create temporary function expudtf_fun as 'com.xxx.hive.udf.GenericUDTFPosExplode';
hive> select expudtf_fun(t.arrayobjlist) from udftest t;
运算结果:
Total MapReduce CPU Time Spent: 680 msec
OK
0       1
1       77
2       66
3       55
0       11
1       22
2       33
3       44
Time taken: 89.661 seconds, Fetched: 8 row(s)
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
1.上传tar包 2.解压 tar -zxvf hive-1.2.1.tar.gz 3.安装mysql数据库 推荐yum 在线安装 4.配置hive (a)配置HIVE_HOME环境变量 vi conf/hive-env.sh 配置其中的$hadoop_home (b)配置元数据库信息 vi hive-site.xml 添加如下内容: javax.jdo.option.ConnectionURL jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true JDBC connect string for a JDBC metastore javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver Driver class name for a JDBC metastore javax.jdo.option.ConnectionUserName root username to use against metastore database javax.jdo.option.ConnectionPassword hadoop password to use against metastore database 5.安装hive和mysq完成后,将mysql的连接jar包拷贝到$HIVE_HOME/lib目录下 如果出现没有权限的问题,在mysql授权(在安装mysql的机器上执行) mysql -uroot -p #(执行下面的语句 *.*:所有库下的所有表 %:任何IP地址或主机都可以连接) GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION; FLUSH PRIVILEGES; 6. Jline包版本不一致的问题,需要拷贝hive的lib目录中jline.2.12.jar的jar包替换掉hadoop中的 /home/hadoop/app/hadoop-2.6.4/share/hadoop/yarn/lib/jline-0.9.94.jar 启动hive bin/hive ---------------------------------------------------------------------------------------------------- Hive几种使用方式: 1.Hive交互shell bin/hive 2.Hive JDBC服务(参考java jdbc连接mysql) 3.hive启动为一个服务器,来对外提供服务 bin/hiveserver2 nohup bin/hiveserver2 1>/var/log/hiveserver.log 2>/var/log/hiveserver.err & 启动成功后,可以在别的节点上用beeline去连接 bin/beeline -u jdbc:hive2://mini1:10000 -n root 或者 bin/beeline ! connect jdbc:hive2://mini1:10000 4.Hive命令 hive -e ‘sql’ bin/hive -e 'select * from t_test'
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值