1. SELECT ....FROM 语句
| 1、创建表 CREATE EXTERNAL TABLE employees( ID STRING, name STRING, AGE INT, BIRTHDAY DATE, subordinates ARRAY<STRING>, score MAP<STRING,FLOAT>, address STRUCT<street:STRING,city:STRING,province:STRING> ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' COLLECTION ITEMS TERMINATED BY ',' MAP KEYS TERMINATED BY ':';
2、插入数据 2.1 vi employees.txt g201425003 wangwu1 5500 20 1987-07-12 zhaoliu1,wangwu1 Chinese:90,English:88 国营1号,西直门,北京 g201425004 wangwu2 6400 20 1987-07-12 zhaoliu2,wangba2 Japana:85,English:60 国营2号,西直门2,北京 g201425005 wangwu3 8400 20 1987-07-12 zhaoliu3,wangba3 Japana:80,English:70 高碑店,保定市,河北 g201425006 wangwu4 8400 20 1987-07-12 zhaoliu4,wangba4 Japana:80,English:70 高碑店,保定市,河北
2.2 上传hdfs hdfs dfs -put employees.txt 3、加载数据到employees中 load data inpath 'employees.txt' OVERWRITE into table employees partition(country='China'); 4、查询数据 4.1 一般查询 select * from employees; 4.2 对复合字段获取 select name ,subordinates[0] subordinate ,score['English'] English ,address.street,address.city from employees;
4.3 复合函数字段查看 select name ,subordinates ,score ,address from employees;
查询结果： name subordinates score address zhangsan ["lisi","wangwu"] {"Chinese":90.0,"English":88.0} {"street":"国营1号","city":"西直门","province":"北京"} wangwu ["zhaoliu","wangba"] {"Japana":90.0,"English":88.0} {"street":"国营2号","city":"西直门2","province":"北京"} wangwu ["zhaoliu","wangba"] {"Japana":90.0,"English":88.0} {"street":"高碑店","city":"保定市","province":"河北"}
|
通过以上结果得出结果：
l ARRAY字段通过集合方式展示，通过下表获取每个字段的数值，是有序存储。
l Map和STRUCT字段通过json方式存储，其中：Map通过[‘key’],STRUCT通过.来获取字段内容。
2.1 UPPER函数和map_values函数使用
select upper(name) from employees;
select map_values(score) from employees;
2.2 使用函数
2.2.1 聚合函数
最常用的两类聚合函数： count和avg
select count(id),round(avg(salary),2) avg_salary from employees;
2.2.2explode函数
对ARRAY和Map符合类型的字段通过explode函数可以让一行转化成多行。
explode(ARRAY array)
explode(Map map)
2.2.3lpad和rpad函数
语法： lpad(STRING s,INT len,STRING pad)
S:输入字符串
len：输出结果的字符串长度
pad：显示len的长度，不够长度通过lpad(rpad)从左（右）开始补齐
select name,lpad(name,8,'*') lname, rpad(name,8,'*') rname from employees;
查询结果：
name lname rname
zhangsan zhangsan zhangsan
wangwu **wangwu wangwu**
wangwu **wangwu wangwu**
2.2.4 字符串拼接
l 拼接多个字符串
语法： concat(STRING s1, STRINGs2,STRING s3.....)
示例： select name,concat(name,'_china','_sx') from employees;
输出结果：
name _c1
zhangsan zhangsan_china_sx
wangwu wangwu_china_sx
wangwu wangwu_china_sx
l 使用分隔符进行拼接字符串（功能同concat类似）
语法： concat_ws()
示例：select name,concat_ws('|',name,'nan','2000') from employees;
结果：
name _c1
zhangsan zhangsan|nan|2000
wangwu wangwu|nan|2000
wangwu wangwu|nan|200
2.2.5 反转字符串函数
语法：reverse(STRING s)
示例：select name,reverse(name) from employees;
结果：
| name _c1 zhangsan nasgnahz wangwu uwgnaw wangwu uwgnaw |
2.2.6 获取ARRAY和MAP复合类型字段元素个数
语法：size(ARRAY array) size(MAP map)
示例：
select subordinates,size(subordinates) array_count,score,size(score) map_count from employees;
结果：
| subordinates array_count score map_count ["lisi","wangwu"] 2 {"Chinese":90.0,"English":88.0} 2 ["zhaoliu","wangba"] 2 {"Japana":85.0,"English":60.0} 2 ["zhaoliu","wangba"] 2 {"Japana":80.0,"English":70.0} 2 |
2.2.7 split分割函数
语法：split(STRING s,STRING pattern)
按照正则表达式pattern分割 字符串，返回分割后的字符串数组ARRAY
示例：select split("I|am|a|student",'\\|') from employees limit 1;
结果：
| ["I","am","a","student"] |
2.2.8通过parse_url解析url字符串
语法：parse_url(STRING url,STRING partname[,STRINGkey])
示例：
select parse_url('http://item.jd.com/1856588.html','HOST') host, parse_url('http://item.jd.com/1856588.html','PROTOCOL') PROTOCOL from employees limit 1;
结果：
| host protocol item.jd.com http |
2.2.9 str_to_map函数将字符串转为Map
语法：str_to_map(STRING s,STRING delimi1,STRING delimi2)
第一参数： 要转换的字符串
第二参数：键值对之间的分割符
第三参数：键和值之间的分割符
示例：
| select score,str_to_map('Chinese:90.0,English:88.0',',',':') strMap,str_to_map('Chinese:90.0,English:88.0',',',':')['Chinese'] Chinese from employees;
|
结果：
| {"Chinese":90.0,"English":88.0} {"Chinese":"90.0","English":"88.0"} 90.0 |
2.2.10 substr截取字符串函数
语法：substr(STRINGs,开始下标,截取长度)
示例：select substr('20160106112134432',0,8) day from employees limit 1;
结果：20160106
2.2.11时间基本函数
l 获取当前时间
语法：unix_timestamp()获取当前时间的时间戳
l 指定时间戳转为指定的格式字符串
语法：from_unixtime(BIGINT unixtime,String format)
按照format的格式对时间戳进行格式化，返回STRING字符串
示例：
select unix_timestamp() currentUnixTime,from_unixtime(unix_timestamp(),'yyyy-MM-dd') formatCurrentTime from employees limit 1;
结果：
1452051408 2016-01-05 19:36:48
l 指定格式字符串转为时间戳
语法：unix_timestamp(STRING date,STRING pattern)
将指定格式字符串转为时间戳
示例：
select unix_timestamp('2016-01-05 19:36:48','yyyy-MM-dd HH:mm:ss') from employees limit 1;
结果：
1452051408
l 获取指定字符串的日期，年，月，日，时，分，秒
示例：
select d ,to_date(d) ri,year(d) y,month(d) m,day(d) ri,hour(d) h,minute(d) m,second(d) s from t1;
结果：
d ri y m ri h m s
2016-01-05 19:36:48 2016-01-05 2016 1 5 19 36 48
2.2.12日期计算函数
l 计算开始时间和结束时间相差的天数
语法：datediff(STRING enddate,STRING startdate)
通过测试，仅计算yyyy-MM-dd格式的字符串
示例：select datediff('2016-01-05','2016-01-02') from t1;
结果：3
2.2.12 limit语句
典型的查询会返回多行数据。Limit子句用于限制返回的行数:
select * from employees limit 2;
2.2.13嵌套SELECT语句
对于嵌套语句来说，使用别名时候非常有用的。下面，我们使用前面的示例作为一个嵌套查询：
| from ( select name,salary, address.street as street,address.city as city,address.province as provice from employees ) e select e.name,e.salary,e.city where e.salary>1000 |
name salary street city provice
zhangsan 1200.5 国营1号 西直门 北京
wangwu 890.4 国营2号 西直门2 北京
wangwu 800.0 高碑店 保定市 河北
2.2.14 CASE…WHEN…THEN 语句
该表达方式和if语句类似，用于处理多个列的查询结果。
| select name,salary,case when salary<6000 then 'low' WHEN salary >= 6400 AND salary<8000 THEN 'middle' WHEN salary >= 8000 AND salary<9000 THEN 'high' else 'other' end as bracket from employees; |
输出结果：
| name salary bracket wangwu1 5500.0 low wangwu2 6400.0 middle wangwu3 8400.0 high wangwu4 8400.0 high |
2.2.15 何种情况避免MapReduce
如果用户进行执行一般的HQL的话，可能会注意到大多数情况查询都会触发一个MapReduce任务（job）。Hive中对于某些情况的查询可以不必要使用MapReduce，也就是所谓的本地模式。例如：
select * from t1;
在这种情况下，Hive可以读取t1对应的存储目录下的文件，然后输出格式化后的内容到控制台。
对于where语句中过滤条件知识分区字段这种情况无需转为MapReduce过程（一般要设计好分区，这样查看可以避免MapReduce）。例如：
select *from employees where country='China';
此外，通过设置Hive的本地模式，可以提高Hive查询的效率。但本地模式需要一些条件。当一个job满足如下条件才能真正使用本地模式：
1.job的输入数据大小必须小于参数：hive.exec.mode.local.auto.inputbytes.max(默认128MB)
2.job的map数必须小于参数：hive.exec.mode.local.auto.tasks.max(默认4)
3.job的reduce数必须为0或者1。
实验1： 非本地模式执行
| hive (default)> select name from employees; Total jobs = 1 Launching Job 1 out of 1 Number of reduce tasks is set to 0 since there's no reduce operator Starting Job = job_1452047254290_0045, Tracking URL = http://mycluster:8088/proxy/application_1452047254290_0045/ Kill Command = /home/hadoop/app/hadoop-2.6.0/bin/hadoop job -kill job_1452047254290_0045 Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 0 2016-01-05 22:41:36,714 Stage-1 map = 0%, reduce = 0% 2016-01-05 22:41:46,020 Stage-1 map = 100%, reduce = 0%, Cumulative CPU 1.21 sec MapReduce Total cumulative CPU time: 1 seconds 210 msec Ended Job = job_1452047254290_0045 MapReduce Jobs Launched: Job 0: Map: 1 Cumulative CPU: 1.21 sec HDFS Read: 649 HDFS Write: 32 SUCCESS Total MapReduce CPU Time Spent: 1 seconds 210 msec OK name wangwu1 wangwu2 wangwu3 wangwu4 Time taken: 27.942 seconds, Fetched: 4 row(s)
|
实验2： 设置本地模式执行
| hive> set hive.exec.mode.local.auto=true; hive> set hive.exec.mode.local.auto.inputbytes.max=50000000; hive> set hive.exec.mode.local.auto.tasks.max=10;
hive (default)> select name from employees; Automatically selecting local only mode for query Total jobs = 1 Launching Job 1 out of 1 Number of reduce tasks is set to 0 since there's no reduce operator Job running in-process (local Hadoop) Hadoop job information for null: number of mappers: 0; number of reducers: 0 2016-01-05 22:43:11,738 null map = 100%, reduce = 0% Ended Job = job_local2070598612_0001 Execution completed successfully MapredLocal task succeeded OK name wangwu1 wangwu2 wangwu3 wangwu4 Time taken: 10.77 seconds, Fetched: 4 row(s)
|
注意： Hive的本地模式，最好将set hive.exec.mode.local.auto=true; 这个设置增加到你的$HOME/.hiverc配置文件中。（其中：$HOME 是hive当前按照目录）
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
