hive自定义分隔符和处理Apache日志

源地址：http://liubingwwww.blog.163.com/blog/static/304851072011112262557997/

自定义分隔符 

1.日志格式 

Xml代码  

1. 2010-05-31 10:50:17|61.132.4.82|http://www.360buy.com/product/201185.html    

分隔符是“ | ” 

2.创建自定义分隔符的数据表 

Java代码  

1. CREATE TABLE click_test ( time string, ip string, url string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\|' STORED AS TEXTFILE;  

3.加载数据 

Java代码  

1. LOAD DATA LOCAL INPATH '/data/clicktest_20110217.txt' OVERWRITE INTO TABLE click_test;  

4.查询数据 

Java代码  

1. select * from click_test;  

处理Apache日志 
1.日志格式 

Java代码  

1. 127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0" 200 2326  

2.创建数据库 
CREATE TABLE apachelog ( 
  host STRING, 
  identity STRING, 
  user STRING, 
  time STRING, 
  request STRING, 
  status STRING, 
  size STRING, 
  referer STRING, 
  agent STRING) 
ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe' 
WITH SERDEPROPERTIES ( 
  "input.regex" = "([^ ]*) ([^ ]*) ([^ ]*) (-|\\[[^\\]]*\\]) ([^ \"]*|\"[^\"]*\") (-|[0-9]*) (-|[0-9]*)(?: ([^ \"]*|\".*\") ([^ \"]*|\".*\"))?", 
  "output.format.string" = "%1$s %2$s %3$s %4$s %5$s %6$s %7$s %8$s %9$s" 
) 
STORED AS TEXTFILE; 

3.加载数据 

Java代码  

1. hive> LOAD DATA LOCAL INPATH "./examples/files/apache.access.log" INTO TABLE apachelog;  
2. hive> LOAD DATA LOCAL INPATH "./examples/files/apache.access.2.log" INTO TABLE apachelog;  

4.查询数据 

Java代码  

1. hive> select * from apachelog order by time;  

使用order by查询后，会报错： 

Java代码  

1. Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.contrib.serde2.RegexSerDe  
2.     at java.net.URLClassLoader$1.run(URLClassLoader.java:202)  
3.     at java.security.AccessController.doPrivileged(Native Method)  

启动时，需要添加hive_contrib.jar 

Java代码  

1. hive --auxpath ./hive/lib/hive_contrib.jar  

参考http://wiki.apache.org/hadoop/Hive/LanguageManual/DDL