hive
qqjlove
喜欢编程的我,希望在csdn这个大平台上展现不一样的我!
展开
-
hive分区
Hive创建表和分区2013年10月17日YanBitCREATE EXTERNAL TABLE IF NOT EXISTS data_zh(ROWKEY STRING,STATION INT,YEAR INT,MONTH INT,DAY INT,HOUR INT,MINUTE INT,)转载 2015-12-14 14:59:07 · 930 阅读 · 0 评论 -
hive的查询注意事项以及优化总结 .
Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具。使用Hive尽量按照分布式计算的一些特点来设计sql,和传统关系型数据库有区别,所以需要去掉原有关系型数据库下开发的一些固有思维。基本原则:1:尽量尽早地过滤数据,减少每个阶段的数据量,对于分区表要加分区,同时只选择需要使用到的字段select ... from A转载 2015-12-17 16:04:44 · 748 阅读 · 0 评论 -
hive命令的3种调用方式
hive命令的3种调用方式 方式1:hive –f /root/shell/hive-script.sql(适合多语句)hive-script.sql类似于script一样,直接写查询命令就行例如:[root@cloud4 shell]# vi hive_script3.sqlselect * from t1;select count(*) f转载 2015-12-17 16:39:46 · 735 阅读 · 0 评论 -
Hive编程指南---动态分区插入
Hive如果需要创建非常多的分区,那么用户就需要写很多的SQL,Hive提供了一个动态分区功能,其可以基于查询参数推断需要创建的分区名称INSERT OVERWRITE TABEL employeePARTITION(country,state)SELECT .......se.cnty,se.stFROM staged_employee se;hive根据select语句中原创 2015-12-17 17:32:10 · 1005 阅读 · 0 评论 -
hive编程指南--hive基础知识
1:Hive不是一个完整的数据库。Hadoop以及HDFS的设计本身约束和局限性得限制了Hive能够胜任的工作。其中最大的限制就是Hive不支持记录级别的更新插入或者删除操作。但是用户可以通过查询生成新表或者将查询结果导入到文件中。同时,因为Hadoop是一个面向批处理的系统,而MapReduce任务的启动过程需要消较长的时间,所以hive查询延时比较严重。传统数据库中秒级可以完成的查询,原创 2015-12-16 16:51:31 · 2487 阅读 · 0 评论