hive

一 基本命令：（注意hive命令都要加；）

     sphive 进入数据仓库

    show tables;   列出所有表名

    desc  table_name; 列出表内数据段信息    

   quit；退出hive

select * from aorder by rand() limit 10;  

二 建立表：

create table test_partition ( id int,

          name string,

          no int)

partitioned by(dt string)

stored as textfile;

CREATE TABLE  创建一个指定名字的表。如果相同名字的表已经存在，则抛出异常；用户可以用  IF NOT EXIST  选项来忽略这个异常。

EXTERNAL  关键字可以让用户创建一个外部表，在建表的同时指定一个指向实际数据的路径（ LOCATION ）， Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数 据会被一起删除，而外部表只删除元数据，不删除数据。

如果文件数据是纯文本，可以使用  STORED AS TEXTFILE 。如果数据需要压缩，使用  STORED AS SEQUENCE  。

有分区的表可以在创建的时候使用  PARTITIONED BY  语句。一个表可以拥有一个或者多个分区，每一个分区单独存在一个目录下。

三 插入数据：

3.1使用了OVERWRITE关键字，目标表中原来相同partition中的所有数据被覆盖，如果目标表中没有partition，则整个表会被覆盖。

从本地导入：load data local inpath  'wyp.txt'  into table wyp  PARTITION (dt=${dt});

从HDFS上导入： load data inpath  '/home/wyp/add.txt'  into table wyp;

3.2在实际情况中，表的输出结果可能太多，不适于显示在控制台上，这时候，将Hive的查询输出结果直接存在一个新的表中是非常方便的，我们称这种情况为CTAS（create table .. as select）， CTAS唯一的限制是目标表，不能是一个有分区的表，也不能是外部表。 如下：

hive> create table test4      > as      > select id, name, tel      > from wyp;

3.3将表的输出结果直接插入到另一个表内， 如果目标表（test）中不存在分区字段，可以去掉partition (age='25')语句。当然，我们也可以在select语句里面通过使用分区值来动态指明分区：

hive> insert into table test

     > partition (age= '25' )

     > select id, name, tel

     > from wyp;

四 删除：

删除表

DROP TABLE table_name;

截断清空表：

TRUNCATE TABLE table_name;

五 修改表

修改字段

     alter table  table_name  change colum1  colum2 column2_type ;  

五 hive与shell交互：

5.1建立一个脚本文件a.sh,用hive -e"select* from…">result.txt   可以将结果重定向到一个文件中去。

5.2用spark跑， /usr/bin/hadoop/software/spark/bin/spark-hive -e  "${query}" -c 1000  ，把命令写在query里

5.3写一个mapreduce跑

六 其他

order by 能保证结果全部有序化，sort by是保证同一个reduce下的有序

hive中判断某一字段为null ：a is not null，或者a！=‘null’（不要和外面的引号重复）