第十三天：hive的基本操作

hadoop和hive的数据处理泪流成
hive Cli常用操作


需求
场景：统计每日用户登录总数
每分钟的原始日志内容如下:
http://www.baidu.com/uid=123&ip=192.168.2.2
假如只有两个字段uid和ip，其中uid是用户的uid
是用户的uid，是用户的唯一标识，ip是用户的
登录ip，每日的记录行数是10亿行，要统计出一天用户登录的总数


处理流程
1、建表
那么我们首先要在hive里面建立一张表，建表语句如下：
表名-login
fields  列分分隔符号
create table login(
  uid string,
  ip string
)
partitioned by (dt string)
row format delimited
fields terminated by ','
stored as textfile; 




其实表名是login，字段之间以，隔开，存储是text，其次
还以dt这个字段作为分区
创建成功之后，会看到hdfs上创建了
/user/hive/warehouse/login这个目录


2、入库
格式完毕，就可以把数据入库到hive了。假设几天
执行的命令


load data local inpath '/hadoop/hive0.9/testHive/test*' overwrite into
table login partition (dt='20150207')


执行成功


3、分析
在hive执行一下语句


select count(distinct uid) from login 
where  dt='20150207';


使用dt这个分区条件查询，就可以避免hive去查询其他分区的文件
这样减少IO操作，这个是hive分区很重要的特性，也是已
天为单位，作为login表分区的重要意义。


执行完毕后，就可以在命令里出现结果，一般通过管道执行hive shell命令
，读取管道的内容，把结果入库到mysql里就完成了分析了、


分区不能做的太多。
一般是以天做为分区。