HDFS常用命令
1、version
hadoop version
用于打印Hadoop版本信息。
2、dfsadmin
hadoop dfsadmin -report
用于查看集群存储空间使用情况及各节点存储空间使用情况。
3、fs命令
fs命令包下是hadoop内置的对于hadoop文件系统的各项操作,具体主要包括:
命令 | 作用 |
---|---|
-cat | 显示该文件的具体内容 |
-copyFromLocal | 从本地上传文件到HDFS文件系统中(单路径) |
-copyToLocal | 从HDFS文件系统上下载文件到本地(单路径) |
-cp | 复制 |
-du | 显示文件或文件属性 |
-ls | 显示HDFS系统在指定目录下的文件信息 |
-mkdir | 创建指定目录 |
-mv | 移动文件或目录(目录需要加-r参数) |
-rm | 删除文件或目录(目录需要加-r参数) |
-put | 从本地上传文件到HDFS文件系统中(多路径) |
-get | 从HDFS文件系统上下载文件到本地(多路径) |
…… | …… |
Flume
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据同时储存于HDFS、HBase等几种存储器中;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
Flume_1.7.0下载地址
实现环境:CentOS 7、Hadoop集群(未完成安装的请点击参考我发布的前两份博客资料)
(假定运行节点为Slave001)
Flume下载后放在根目录下的software文件夹下,使用tar命令进行解压安装。
tar -zxf ~/software/apache-flume-1.7.0-bin.tar.gz
接下来修改配置文件及环境变量:
//修改配置文件
cd ~/software/apache-flume-1.7.0-bin/conf
cp flume-env.sh.template flume-env.sh
vi flume-env.sh
在打开的flume-env.sh
文件中改写JAVA_HOME
的语句,将其修改为当前服务器jdk的安装目录
export JAVA_HOME=/home/hadoop/software/jdk1.8.0_231
//配置Flume环境变量(即在profile文件中加入Flume,使其加入系统路径中)
sudo vi /etc/profile
插入如下语句:
#flume
export FLUME_HOME=/home/hadoop/software/apache-flume-1.7.0-bin
export FlUME_CONF_DIR=$FLUME_HOME/conf
export PATH=$PATH:$FLUME_HOME/bin
然后reboot
重启电脑,完成配置。
此时注意:重启电脑后该节点的各项HDFS进程已被停止,请注意需要重新开启HDFS进程保证后续指令可在HDFS系统上完成。
(包括zkServer.sh
start-dfs.sh
start-yarn.sh
)
验证Flume是否成功安装并配置成功:(若上一步配置结束后未重启可能导致该命令出错)
flume-ng version
若Flume成功安装,则命令行提示如下图所示:
最后,分发配置好的Flume到各个节点并完成相应服务器环境的配置
scp -r ~/software/apache-flume-1.7.0-bin/ Slave002:~/software/
scp -r ~/software/apache-flume-1.7.0-bin/ Slave002:~/software/
随后配置Slave002、Slave003的Flume环境变量,Flume安装结束,注意查看是否每个节点都已成功安装。
sudo vi /etc/profile
插入如下语句:
#flume
export FLUME_HOME=/home/hadoop/software/apache-flume-1.7.0-bin
export FlUME_CONF_DIR=$FLUME_HOME/conf
export PATH=$PATH:$FLUME_HOME/bin
成果如下图所示:
本次Flume架构搭建完成。