网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
最近在收集整理大数据入门文章,各位盆友关注点赞不迷路,每天都要开心鸭!
大数据入门系列文章
=========
一、概念
====
Hive是基于Hadoop的一个数据仓库工具,用来进行数据抽取,转化,加载,这是一种可以存储,查询和分析存储在Hadoop中的大规模数据的机制。Hive数据仓库工具能将结构化的数据文件映射成一张表,并提供SQL查询功能,能将SQL语句转化成为MapReduce来执行。Hive的优点是学习成本低,可以通过类SQL语句实现快速MapReduce统计,使MapReduce变得更加简单,而不必开发专门的MapReduce任务。Hive十分适合对数据仓库进行分析。
二、架构
====
三、表分类
=====
内部表:未被External修饰的是内部表(Managed Table),数据由自身管理,数据存储的位置是hive.metastore.warehouse.dir,(默认:/user/hive/warehouse)删除内部表会直接删除元数据(Metadata)及存储数据;对内部表的修改会将修改直接同步给元数据。
外部表:被External修饰的是外部表(External Table),数据由HDFS管理,部表数据的存储位置由自己制定(如果没有LOCATION,Hive将在HDFS上的/user/hive/warehouse文件夹下以外部表的表名创建一个文件夹,并将属于这个表的数据存放在这里),删除外部表仅仅会删除元数据,HDFS上的文件并不会被删除,而对外部表的表结构和分区进行修改,则需要修复(MSCK REPAIR TABLE table_name)。
四、Hive常用语句
==========
1.Hive建表语句
create table t1( id int,
name string ,
hobby array ,
add map<String,
string> )
row format delimited
fields terminated by ‘,’
collection items terminated by ‘-’
map keys terminated by ‘:’ ;
2.Hive新增列
alter table test.t1 add columns(a string);
3.Hive删除列
alter table test.t1 replace columns(id int,name string,hobby array,add map<string,string>);
4.Hive修改列
alter table test.t1 change a b int;
5.Hive清空表
truncate table test.t1;
6.Hive加载数据
load data local inpath ‘/home/hadoopap/desktop/data’ overwrite into table t1;
7.HDFS删除文件操作
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
78719)]
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!