Hadoop
TC_HaoShuai
这个作者很懒,什么都没留下…
展开
-
hive在创建表时四种存储格式
hive在创建表时默认存储格式是textfile,或者显示自定义的stored as textfile.很多人知道hive常用的存储格式有三种,textfile,sequencefile,rcfile.但是却说不清楚这三种格式的...原创 2018-11-20 15:12:46 · 7772 阅读 · 0 评论 -
Hive分区和桶的概念
Hive分区和桶的概念 Hive 已是目前业界最为通用、廉价的构建大数据时代数据仓库的解决方案了,虽然也有 Impala 等后起之秀,但目前从功能、稳定性等方面来说,Hive 的地位尚不可撼动。其实这篇博文主要是想聊聊 SMB join 的,Join 是整个 MR/Hive 最为核心的部分之一,是每个Hadoop/Hive/DW RD 必须掌握的部分,之前也有几篇文章聊到过 M...转载 2018-11-20 16:59:11 · 200 阅读 · 0 评论 -
Hive中创建表的各种方式以及区别详解
https://blog.csdn.net/qq_26442553/article/details/78805443 一:标准hql建表语法标准语法:(hql语言也不区分大小写,下面各个条件选择添加)  CREATE [EXTERNAL] TABLE [IF ...转载 2018-11-23 15:39:01 · 1015 阅读 · 0 评论 -
HIVE 数据库数据表操作
一、Hive数据库操作1.1 查看数据库show databases;1使用like关键字模糊匹配# 显示包含db_前缀的数据库名称show databases like 'db_*';121.2 使用数据库use database名称11.3 创建数据库create database dbname;1通过location指定数据库路径create database dbna...原创 2018-11-29 15:04:06 · 275 阅读 · 0 评论 -
Hadoop Archives Guide(hdfs文件归档介绍和例子)
Hadoop Archives Guide(hdfs文件归档介绍和例子)一、概括介绍:1)、简介英文:Hadoop archives are special format archives. A Hadoop archive maps to a file system directory. A Hadoop ...转载 2018-11-27 17:13:59 · 192 阅读 · 0 评论 -
hadoop启动脚本解读
https://blog.csdn.net/bluishglc/article/details/43237289 本文以start-dfs.sh为例向下延展解释各脚本的作用和相互关系,对于start-yarn.sh同理可证。下图解释了各个脚本的作用:注意:slave...转载 2018-12-12 14:54:12 · 306 阅读 · 0 评论 -
HDFS集群启动过程详解
HDFS的启动过程和关闭过程都经过脚本进行了封装,只需要执行start-all.sh和stop-all.sh就可以。操作较简单。下面针对启动阶段的原理和详细过程进行说明,对关闭过程目前还没有调研,所以暂缺。HDFS的启动分三步骤:l 第一步,启动namenode;l 第二步,启动datanode;l ...转载 2018-12-12 20:07:36 · 641 阅读 · 0 评论 -
HDFS中secondary namenode和namenode的区别
在Hadoop中,有一些命名不好的模块,Secondary NameNode是其中之一。从它的名字上看,它给人的感觉就像是NameNode的备份。但它实际上却不是。很多Hadoop的初学者都很疑惑,Secondary NameNode究竟是做什么的,而且它为什么会出现在HDFS中。因此,在这篇文章中,我想要解释下Secondary NameNode在HDFS中所扮演的角色。从它的名字来看,你可能...转载 2018-12-10 11:05:25 · 750 阅读 · 0 评论