2018年08月_abandon_li

原创 hive中的DML

Hive中的DML数据操作语法数据导入向表中装载数据（Load）1）语法hive>load data [local] inpath '/opt/module/datas/student.txt' [overwrite] into table student [partition (partcol1=val1,…)];（1） load data:表示加载数据（2） lo...

2018-08-24 15:08:08 437

原创 hive中的DDL

Hive中的DDL数据定义创建数据库1）创建一个数据库，数据库在 HDFS 上的默认存储路径是/user/hive/warehouse/*.db。hive (default)> create database db_hive;2）避免要创建的数据库已经存在错误，增加 if not exists 判断。（标准写法）hive> create database db_hi...

2018-08-24 15:00:29 422

原创 hive查询语法

Hive中的查询语句https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select [WITH CommonTableExpression (, CommonTableExpression)*] (Note: Only available starting with Hive 0.13.0) SELE...

2018-08-24 14:56:39 2742

原创 Hive元数据复习总结

1、存储Hive版本的元数据表(VERSION)该表比较简单，但很重要。 VER_ID SCHEMA_VERSION VERSION_COMMENT ID主键 Hive版本版本说明 1 1.1.0 Set by...

2018-08-24 14:55:17 468

原创 Hbase存储原理复习

1．HBase架构组成HBase采用Master/Slave架构搭建集群，它隶属于Hadoop生态系统，由以下类型节点组成：HMaster节点、HRegionServer节点，而在底层，它将数据存储于HDFS中。 HMaster节点作用 1.管理HRegionServer，实现其负载均衡。2.管理和分配HRegion，比如在HRegion split时分配新的HRegio...

2018-08-23 14:17:15 1169

原创 HDFS复习总结

1.1HDFS产生背景随着数据量越来越大，在一个操作系统管辖的范围内存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。1.2 HDFS概念HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，...

2018-08-05 14:34:47 623

abandon_li的博客