Hadoop常用命令及范例

hadoop中的zookeeper，hdfs,以及hive，hbase都是hadoop的组件，要学会熟练掌握相关的命令及其使用规则，下面就是一些常用命令及对hbase和hive的操作语句，同时也列出了一些范例

start-dfs.sh

NameNode 进程启动:hadoop-daemon.sh start namenode

DataNode 进程启动:hadoop-daemon.sh start datanode

HA 高可用环境中需要启动的进程:

zookeeper：

zkServer.sh start 启动

zkServer.sh stop 停止

zkServer.sh status 查看状态 leader follwer

journalnode 集群命令

hadoop-daemon.sh start journalnode 启动

hadoop-daemon.sh stop journalnode 停止

ZKFC

启动 zkfc 进程: hadoop-daemon.sh start zkfc

停止 zkfc 进程: hadoop-daemon.sh stop zkfc

1． shell命令 管 理和 HDFS 的文件管 理。

（1）启动 Zookeeper

zkServer.sh start

（2）启动 HDFS 的命令

start-dfs.sh

（3）启动 Yarn 的命令

start-yarn.sh

（4）显示 HDFS 中/data/test 目录信息

hadoop fs -mkdir /data/test

hadoop fs -lsr /data/test

（5）将本地文件/tmp/log.txt 文件上传到/data/test 目录中

hadoop fs -put /tmp/log.txt /data/test

（6）设置文件/data/test/log.txt 的副本数为 3

hadoop fs -setrep -w 3 /data/test/log.txt

（7）显示/data/test/log.txt 文件内容

hadoop fs -cat /data/test/log.txt

（8）将/data/test/log.txt 文件移动到集群/user/hadoop 目录下

hadoop fs -mkdir /user/hadoop

hadoop fs -mv /data/test/log.txt /user/hadoop

（9）将/data/test/log.txt 文件下载到/home/hadoop 目录下

hadoop fs -copyToLocal /data/test/log.txt /home/hadoop/

（10）关闭 HDFS 命令

stop-dfs.sh

（11）停止 Zookeeper

zkServer.sh stop

2．将学生数据存储到 Hive 数据仓库中，信息包括（学号，姓名，性别，年龄，联系方式，

邮箱），创建表语法如下：

启动 hive 前切记要先启动 mysql 数据库

create table student(sno string ,name string ,sex string ,age int ,phone string, email string) row

format delimited fields terminated by ',' ;（1）将本地数据“/tmp/student.dat”加载到 student 表，写出操作语句

load data local inpath '/tmp/student.dat' overwrite into table student;

（2）写 HQL 语句查询全部学生信息

select * from student;

（3）写 HQL 语句查询各个年龄及对应学生数量

（4） select age,count(*) from student group by age;

（5）写 HQL 语句查询全部学生的姓名和性别

select name,sex from student;

（6）写 HQL 语句查询年龄为 18 的学生姓名和联系方式

select name,phone from student where age=18;

（7）写 HQL 语句查看 student 表结构

describe student;

（8）写 HQL 语句删除 student 表

drop table student;

（9）导出 生 地/home/hadoop/out 目录 ，写出 语

from student insert overwrite local directory '/home/hadoop/out' select *;

3．员工表 employee 包含两个列族 basic 和 info，使用 shell 命令完成以下操作。

（1）启动 HBase 集群

注意：在启动 hbase 集群前，需要将 zookeeper,hdfs,yarn 及历史服务器启动

zkServer.sh start

start-dfs.sh

start-yarn.sh

mr-jobhistory-daemon.sh start historyserver

启动 hbase 集群

start-hbase.sh

hbase shell

（2）在 HBase 中创建 employee 表

create 'employee','basic','info'

（3）一个员工行键为“19006”，basic 列族有 sex 列，值为“男”，添加该值

put 'employee','19006','basic:sex','nan'

（4）获取行键为“19002”的员工的性别信息

get 'employee','19006','basic:sex'

（5）获取行键为“19002”的员工的 info 列族所有数据

get 'employee','19006','info'

（6）查询所有员工的数据

scan 'employee'

（7）统计 employee 表的行数

count 'employee'

（8）关闭 HBase 集群

stop-hbase.sh

********

（9）单独启动和关闭 hadoop 服务（10） 启动名称节点

（11） hadoop-daemon.sh start namenode

（12） 启动数据节点

（13）hadoop-daemons.sh start datanode slave

（14）开启 resourcemanager

（15）yarn-daemon.sh start resourcemanager

（16）停止一个数据节点

（17）hadoop-daemon.sh stop datanode

（18）重新开启

（19）hadoop-daemon.sh start datanode

HBase基本语法及示例： （1）建数据表，包含两个列族，第一个列族保留版本为 2，第二个列族保留版本为 1；

create 'stu',{NAME=>'info',VERSIONS=>2},{NAME=>'grade'}

（2） put 添加 ， 一 一 识 message；

put 'stu','zhangsan','info:message','16jiruangongyiban'

put 'stu','zhangsan','grade:c++','90'

（3）使用 get 和 scan 查询数据。

get 'stu' ,'zhangsan', 'info'

get 'stu', 'zhangsan',{COLUMNS=>'info:message',VERSIONS=>2}

scan 'stu'

Hbase 语法总结:

注意，在向 hbase 的表中添加数据的时候只能一列一列的添加

添加数据：

put '行键' ，'列族名：列名'，'数值'

获取数据：

get '表名','行键'

get '表名'，'行键','列族名'

get '表名'，'行键','列族名：列名'

get '表名'，'行键',{COLUMNS=>'列族名:列名'，VERSIONS=>版本}

扫描数据：

scan '表名'

scan '表名' {COLUMNS=>'列族名'}

scan '表名' {COLUMNS=>'列族名：列名'}

scan '表名' {COLUMNS=>'列族名：列名'，VERSIONS=>版本}

修改数据表：

alter '表名',{NAME=>'已经存在的列族名'，VERSIONS=>版本}

清除数据表：

truncate '表名'

disable '表名' drop '表名'

Hive 示例： 使用 DDL 完成数据定义

按照下面学生信息创建学生表和标准身高体重表并加载数据，分别创建内部表、外部表、分区表和桶表，其中分区依据是专业名称，桶表分为 3 个桶。学生信息实例：

学号 姓名 性别 爱好 年龄 学习成绩 通讯地址

实验内容 140010101 张三 男 足球,篮球,长跑等 19 C 程序:90,Java:85,DB:88 河南,郑州,大

学 路 60 号,450001

内部表：

create table stu(sno int,sname string,sex string,hobby array<string>,age int,grade

map<string,int>,address struct<country:string,prrovice:string,street:string,postid:int>)row format

delimited fields terminated by ' ' collection items terminated by ',' map keys terminated by':';

加载数据：

load data local inpath 'kk.txt' overwrite into table stu;

分区表：

create table stupartition(sno int,sname string,sex string,hobby array<string>,age int,grade

map<string,int>,address struct<country:string,provice:string,street:string,postid:int>)partitioned

by (major string)row format delimited fields terminated by ' ' collection items terminated by ','

map keys terminated by':';

加载数据：

load data local inpath 'kk.txt' overwrite into table stupartition partition(major='jsj');

桶表：

create table stubucket(sno int,sname string,sex string,hobby array<string>,age int,grade

map<string,int>,address struct<country:string,provice:string,street:string,postid:int>)clustered by

(age) into 3 buckets row format delimited fields terminated by ' ' collection items terminated by

',' map keys terminated by':';

设置使用分桶属性：set hive.enforce.bucketing=true;

加载数据：

load data local inpath 'kk.txt' overwrite into table stubucket;

查看数据存储位置可以看到桶表中的数据

hadoop fs -ls /user/hive/warehouse

外部表：

create external table stuexternal(sno int,sname string,sex string,hobby array<string>,age

int,grade map<string,int>,address

struct<country:string,provice:string,street:string,postid:int>)row format delimited fields

terminated by ' ' collection items terminated by ',' map keys terminated by':' location

'/user/hive/external/stuexternal';

加载数据：

load data local inpath 'kk.txt' overwrite into table stuexternal;

标准身高体重实例： 年龄 身高范围 体重范围

19 160-170 60-65

身高体重内部表：

create table shengao(age int,highth struct<down:int,up:int>,weighth struct<min:int,max:int>)row

format delimited fields terminated by ' ' collection items terminated by '-';'

加载数据：

load data local inpath 'shengao.txt' overwrite into table shengao;

3.使用 DML 完成数据查询

查询指定学生的第一爱好和通讯邮编；查询指定学生姓名、性别和身高范围；查询有对应身高范围和体重范围的学生信息；查询软件工程专业学生总人数；查询各专业学生的

平均年龄。

查询指定学生的第一爱好和通讯邮编；

select hobby[0],address.postid from stu where sname='aa';

查询指定学生姓名、性别和身高范围；

select sex,highth from stu left outer join shengao on stu.age=shengao.age where stu.sname='aa';

查询有对应身高范围和体重范围的学生信息；

select * from stu left outer join shengao on stu.age=shengao.age where highth.up=170 and

highth.down=160 and weighth.max=65 and weighth.min=60;

查询软件工程专业学生总人数；

select count(*) from stupartition where major='rjgc';

查询各专业学生的平均年龄。

select avg(age) major from stupartition group by(major);