- 博客(6)
- 资源 (2)
- 收藏
- 关注
原创 Hive Shell 常用操作
[beifeng@hadoop-senior hive-0.13.1]$ bin/hive -helpusage: hive -d,--define Variable subsitution to apply to hive commands. e.g. -d A=B or --define A=
2017-08-18 15:35:35 565
原创 Hive及其架构
一、什么是Hive?1、由FaceBook开源用于解决海量结构化日志的数据统计。2、Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射成一张表,并提供类SQL查询功能。3、构建在Hadoop之上的数据仓库:使用HQL作为查询接口;使用HDFS存储;使用MapReduce计算;4、本质是:将HQL转化成MapReduce程序。5、灵活性和扩展性比
2017-08-18 11:56:12 299
原创 Hive基本操作(三)
建表:内部表、外部表、分区表、桶表内部表:create table if not exists student(id int,name string,age int,sex string)row format delimitedfields terminated by "\t";查看创建表的信息show create table student;查看表结构(列)信息
2017-08-15 19:14:41 281
原创 Hive基本操作(二)——Hive实战案例-级联求和
Hive实战案例——级联求和源数据:访客 月份 访问次数A 2015-01 5A 2015-01 15B 2015-01 5A 2015-01 8B 2015-01 25A 2015-01 5A 2015-02 4A 2015-02 6B 2015-02 10B 2015-02 5--------------------------------
2017-08-15 15:55:09 1197 1
原创 Hive基本操作(一)
创建内部表:create table if not exists stus(name string,age int,sex string)row format delimited fields terminated by "\t";创建外部表:create external table if not exists sogou(time string,uid stri
2017-08-14 14:11:13 284
转载 MapReduce中的task数量
1.map和reduce的数量过多会导致什么情况?2.Reduce可以通过什么设置来增加任务个数?3.一个task的map数量由谁来决定?4.一个task的reduce数量由谁来决定?一般情况下,在输入源是文件的时候,一个task的map数量由splitSize来决定的,那么splitSize是由以下几个来决定的goalSize = totalSize / mapred
2017-08-10 11:40:24 1201 1
Hive数据仓库(一)
2016-09-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人