hive
文章平均质量分 78
风行者之倾覆天下
我为技术痴狂,技术为我护航。我自轻狂,追求前沿。
展开
-
hive 的map reduce的设置
1.set dos.block.size:查看集群设置的文件大小(该参数不能自定义修改) 134217728L(128兆的意思)2.map执行前合并小文件,减少map数 set mapred.max.split.size=100000000;表示100M set mapred.min.split.size.per.node=100000000原创 2016-09-20 16:15:33 · 1288 阅读 · 0 评论 -
hive的数据存储浅谈
一、导言: Hive是基于Hadoop分布式文件系统,它的数据存储在Hadoop分布式文件系统中。Hive本身是没有专门的数据存储格式,也没有为数据建立索引,只需要在创建标的时候告诉Hive数据中的列分隔和行分隔符,Hive就可以解析数据。所以往hive里导入数据只是简单的将数据移动到表所在的目录中;Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进翻译 2016-09-21 12:58:03 · 7548 阅读 · 0 评论 -
hive和hadoop的dos操作语句
#创建表人信息表 person(String name,int age) hive> create table person(name STRING,age INT)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' ESCAPED BY '\\' STORED AS TEXTFILE; OK Time taken: 0.541 second翻译 2016-09-21 18:20:15 · 447 阅读 · 0 评论 -
hive的统计函数
hive函数—-集合统计函数集合统计函数1. 个数统计函数: count语法: count(*), count(expr), count(DISTINCT expr[, expr_.])返回值: int说明: count(*)统计检索出的行的个数,包括NULL值的行;count(expr)返回指定字段的非空值的个数;c翻译 2016-09-26 11:22:46 · 58283 阅读 · 1 评论